この論文は、音声で会話するエージェントが複数人の会話に参加できるかを評価する新しいベンチマーク、MP-Benchを紹介します。研究者たちは12種類の音声エージェントを検査し、リアルタイム型のエージェントは複数人の理解で22％以下、発話の取り合い（ターンテイキング）はほぼ確率的な正解率にとどまる、という目立つ低い成績を報告しました。

MP-Benchは主に二つの観点でエージェントを評価します。一つは「誰が話す番かを正しく判断できるか」（ターンテイキング意識）。もう一つは「返答が文脈に合っているか」（応答の適切さ）です。加えて、会話内容の理解力を測るための質問応答（コンプレヘンション）タスクも補助的に組み込んでいます。論文は、二者間の対話（ダイアディック）よりも複数人会話の方が格段に難しいと指摘します。理由は会話の流れが複雑で、発話の合図や割り込み、あいづちなどの微妙な手がかりを扱う必要があるためです。

実験の設計面では、評価から話者分離（ダイアライゼーション）の難しさを切り離すために、あえて声の違いがはっきりした話者を用いました。これにより「高い声の人が何を提案したか」など客観的に採点できる問題を作れます。さらに、声が似ている場合の影響を見るために最も理解の良かったモデル（Covo-Audio）で類似声のアブレーション実験も行いました。結果は厳しく、音声の分離が難しくなると理解度は40ポイント下がって4％になり、話者名の正答率は45ポイント下がって0％、討論の適切性評価も75ポイントから45ポイントへと大きく悪化しました。ターンテイキングの判定はどの場合でも50％前後の偶然の水準に近いままでした。

この仕事が重要な理由は明快です。家庭や会議など現実の場面では複数人会話が普通です。人間の集団に自然に溶け込むには、エージェントは適切に割り込みや応答のタイミングを判断し、文脈に合った発言を返す必要があります。現状のリアルタイム音声エージェントはその基本能力にまだ大きな欠点があることが、定量的に示されました。

論文は限界についても正直に述べています。MP-Benchは「コアな複数人能力」に焦点を当てるため、話者識別の難易度を低くしています。実際に声が似ている状況では性能はさらに悪化しました。また、研究の補助作業として生成AIツールは使われましたが、ベンチマーク設計や結果の解釈は著者が主導しており、ツールはコードの実装補助や図表作成など支持的な役割に限定されたと報告されています。