この論文は、大規模言語モデル（LLM）が質問に答える過程で「どの情報を使うか」をどのように切り替えるかを調べています。研究者たちは、質問文の終わり時点における内部の隠れ状態（層ごとの中間表現）に手を入れる手法を使い、Qwen、Llama、Gemmaという三つのモデルで比較実験を行いました。実験では「国と大陸」の問いを素材にし、答えを名詞・形容詞・コード形式に変えながら、ルーティング情報（どの国が問われているか）と目標知識（答えに必要な情報）の依存度がどの層で変わるかを追いました。

研究の中心にあるのはいくつかの操作です。「ペア条件付き要求方向」は単一国の自然な問いでどの国が問われているかを表します。「グローバル要求方向」は、二国を並べて問うときに一つ目か二つ目かといった位置情報を示します。さらに、すでに隠れ状態に入っている候補の中から選択させることで、モデルが内部にある情報をどれだけ制御しているかを調べる操作も行われました。これらの操作を層ごとに適用して、どの段階でどの情報が有効になるかを測っています。

主な発見は、モデルが使うルーティング情報と実際の目標知識の役割が時間的（層的）に分かれていることです。Qwenの診断再解析では、ペア条件付きの方向性（どの国を指しているかの情報）が内部で強まるのは、その情報を介入しても後の知識に影響を与え始める前であることが示されました。つまり、因果的に影響を及ぼすウィンドウ（介入で答えが変わる時期）は、答えを支える内容がまだ形成されている間に開くことがあるということです。三モデルの軌跡は一致しません。Gemmaは中間層でルーティングと内容が部分的に重なるプロファイルを示しましたが、Llamaでは同じ条件でも持続するルーティング効果の窓が見られませんでした。また、二国を並べる手順では、早い方の層から遅い方の層へと進むにつれてグローバル要求方向への依存は減り、学習された（fitted）内容への依存は残ることが分かりました。Qwenの追加比較では、ペア条件付き方向は遅い層でも影響を残しており、ここでの「引き継ぎ」はすべての要求情報ではなくグローバルに学習された方向性に関するものだと示唆されます。

この結果は、同じモデル内部でも「読み取りやすさ（readability）」「自然な信号の強さ」「因果的に制御可能な時間窓（causal steering）」「後半での内容依存」といった異なる働きが層ごとに分かれていることを明確にしました。層ごとの役割が分かれば、モデルの解釈や部分的な介入（例えば誤情報を抑える、特定の種類の回答を促す）の設計に役立ちます。

重要な注意点もあります。実験は三つのモデルと「国―大陸」という限られたタイプの問いに基づいています。介入は質問の終わりの隠れ状態に対して行われたもので、別のタスクや異なる介入時点で同じ結果が得られるかは保証されません。また、実験では「ゲート」と呼ばれる制御や特定の測定方法（fitted measurements）に依存しています。これらの点から、結果の一般化にはさらなる検証が必要です。研究者たち自身も、より多様なタスクやモデルでの追試を提案しています。