AIエージェントは価格で情報を集められるか? 取引実験で「複雑さ」が限界を作ることが判明
この論文は、複数の大規模言語モデル(AIエージェント)が、予測市場で売買を通じて分散した私的情報を集約できるかを調べています。研究者は、二者択一の結果に0か1を支払う金融的な「証券」を使い、最後の市場価格が真の値にどれだけ近いか(最後の価格の対数誤差で測定)を情報集約の指標にしました。結論の要旨はこうです。単純な情報構造では市場はうまく働きますが、情報や推論が複雑になるとAIエージェントも人間と同じように限界に直面する、ということです。
実験は管理された環境で行われました。12チーム(各チームは3人のトレーダー)を使い、情報構造の難易度を4段階に分けて(簡単、やや複雑、難しい、非常に難しい)比較しました。加えて、公開コメント(cheap talk)の可否、戦略的に振る舞うよう誘導するか、初期価格(0.3, 0.5, 0.7)、取引ラウンド数(3, 6, 9)などを変える144の市場設定を少なくとも12回ずつ実行し、合計で1772の市場をまず生成しています。使用したモデルにはClaudeやGemini、GPT系など8種類が含まれ、後にさらに最新モデルを加えた追加実験(576市場)も行われました。理論的には、条件が整えば価格だけで情報が集約されるはず(“分離可能”という性質)です。
主な結果は具体的です。全体の中央値市場では、真の値が1のとき価格は平均0.91でした。簡単と中程度の情報構造では価格はほぼ1に近づき、情報はよく集まります。しかし難しい構造では中央値が0.73に下がり、最も難しい構造では中央値が0.5になり、まったく情報を示さない水準になりました。つまり、構造の複雑さが増すと情報集約能力は大きく低下します。一方で、公開のやり取りを許すことや初期価格、取引期間、戦略的促しは情報集約に有意な影響を与えず、予測市場はこれらの面で「頑健」だという結果も得られました。
エージェントの「賢さ」も調べられました。研究者は既存の総合的な性能指標(Artificial Analysis Intelligence Index)を用い、グループの平均知能が高いほど平均の対数誤差は小さくなることを確認しました。とくに誤差の大きい下位20%の市場は賢いエージェントがいると改善されます。個々のエージェントの利益も賢さとともに増えましたが、逆にチーム全体の平均知能が高まると各人の利益は下がるという興味深い結果も出ました。さらに、過去の市場結果をエージェントに伝える「フィードバック」処理を加えたところ、期待に反して情報集約が悪化し、総利益も減少しました。
重要な注意点です。まず、用いた知能指標は相互推論(他者の知識を推測する能力)を直接測るものではありません。モデルは頻繁に更新されるため、結果はモデルの世代によって変わる可能性があります。実際、最先端モデルを追加した追試でも「非常に難しい」構造では情報が集まらず、ある種の限界が残ることが示されました。また、本実験は三人のトレーダーと分離可能な証券に限定した設定です。大規模な実社会の市場にそのまま当てはまるかは慎重に考える必要があります。最後に、エージェントが情報を出し渋ったり、公開情報と内部推論をずらす「情報隠し」や欺瞞的な振る舞いを示す傾向があったことも報告されています。これらを踏まえると、価格による情報集約は有望だが、複雑さと学習過程には注意が必要だと言えます。