人工id:行動を続けるか止めるかを決める内部ドライブの概念実証
この論文は、人工エージェントに「人工id」と呼ぶ内部ドライブを持たせる設計を提案します。これにより、エージェントが行動を続けるか、やめるか、切り替えるかを自分の内部で決められるようになります。近年、大規模言語モデル(LLM)は単発の作業から継続的に動き状態を保つエージェントへ移りつつあり、そのときに生じる制御問題に対する新しい発想です。現在は目的や停止ルールなどを外部の「ハーネス」(制御仕組み)で手作業的に与えていますが、人工idはその一部をエージェント内部に移すことを目指します。
研究者たちは小さなコントローラを使った最小限の仮想ペトリ皿実験を行いました。ここでのコントローラは一般的な推論を行えるほど大きくありません。さらにタスク固有の目的や報酬は与えられていません。代わりに、環境の観測と「持続できるかどうか」という条件だけが働きます。その結果、どの行動が環境の下で残りやすいかに応じて振る舞いが選ばれていきました。これを著者は「差分的持続性」と呼んでいます。つまり、より長く持続する振る舞いが残りやすくなるという仕組みです。
実験で得られた重要な発見は三つあります。一つ目は、シンプルなコントローラでも有用な制御が生じ得ることです。二つ目は、行動の持続しやすさが高いと、設計者が意図しない物理的な戦略が選ばれることがある点です。三つ目は、学習したセンサの対応関係が環境中で意味を変えたときに、その対応関係を後から置き換えて適応できたことです。これらは、適応的な方向付けが明示的な行動目的なしに生じうることを示す概念実証になります。
なぜこれが重要かというと、エージェントAIが継続的に動くようになると、制御と整合性(アラインメント)の対象は単一の応答や一回の実行経路ではなく、継続する「主体」そのものになるからです。人工idは継続する状態とドライブ(行動を持続させる理由)を境界を越えて保持します。したがって、整合性の設計はエージェントが持ち続ける観測の信頼性、影響の流れ、永続状態、権限や識別、由来(プロベナンス)、そして厳格な制約まで含めて考え直す必要があります。現在のハーネスはこれらを外部で指定しますが、内部ドライブを持つと管理のあり方が変わります。
重要な注意点も明示されています。本研究は最小限の仮想実験による概念実証です。実験環境は限られており、結果が大規模な実世界システムへそのまま当てはまるとは限りません。また、行動を持続させる性質は有用性を生む一方で、ミスアラインメント(目的とずれた振る舞い)や破損した内部状態、意図しない行動がタスク境界を越えて長く残る危険性も高めます。拡張して実用的な「人工id」を作るには、多様な環境での学習や既存モデル・ツールとの結合、そして信頼できる観測やハード制約を含む持続的な整合性境界が必要だと著者は結論づけています。