この論文は、LLMが出力と一緒に示す「上位3つの影響要因」が実際にその出力にどれだけ影響しているかを、観察できる振る舞いで確かめる方法を示します。研究者は、提示された要因を「必要（それを変えれば出力が変わる）」と「十分（それを残して他を取り除けば出力が保たれる）」の二つの意味で評価しました。結論は、提示された上位3つには有用な情報が含まれる一方で、常にもっとも影響の大きい3要因を正しく特定するわけではない、ということです。

研究チームは二つの合成（synthetic）ユースケースを用意しました。1つ目は助言者（アドバイザー）推薦で、100件の架空の顧客プロフィールと18の特徴を使い、固定プールの13人の助言者から最適な人を選ばせます。2つ目はプロンプト危険度の判定で、100件のプロンプトに対し、個人情報や違法助言など8種類のリスク区分から3〜4個のリスク要素を組み合わせ、1（無害）〜5（重大）で評価させます。評価にはClaude、GPT、Gemini系を含む計8モデルを用い、各モデルは出力と「上位3要因」を固定名で返しました。プロンプト形式は13種類を比較し、再現性が高い固定特徴名フォーマットを採用しています。

検証方法は黒箱（black-box）の介入です。「必要性」はその一つの特徴だけを変えて元の出力がどれだけ変わるかを測ります。たとえば二値は反転、序数は反対側へ移すなどの対照置換ルールを使います。「十分性」はその特徴だけを残してほかの変えられる情報を取り除き、元の出力がどれだけ保たれるかを測ります。各変更は3回のAPI試行で送信し、得られた応答の変化割合をスコア化します。最後に、モデル自身が提示したランキングとスコアの相関をスピアマン相関で比較しました。

主な数値は次の通りです。助言者推薦では、提示されたランキングと必要性・十分性スコアの平均スピアマン相関がそれぞれ0.349と0.354でした。プロンプト監視ではそれぞれ0.431と0.580でした。また、提示されなかった（未提示）要因が、提示された三つの中で最も低い要因よりも高いスコアを示した割合は、助言者で必要性が57.6%、十分性が58.1%でした。プロンプト監視ではそれぞれ25.8%と8.9%でした。これらの結果から、上位3つは有益ではあるが、常に最も影響の強い三要因を含むとは限らないことが示されます。

重要な注意点があります。データは合成データセットで行われ、評価は入力と出力の観察に基づく外部検査です。研究はモデル内部の思考過程を復元することは目指していません。また、使用する介入の範囲やプロンプト形式、モデル設定によって結果は変わりうると著者は指摘しています。実際の運用で説明を監視やエスカレーションに使う際は、この種の黒箱チェックを補助的に使うことが推奨されますが、万能ではない点に留意が必要です。