この論文は「構成的一般化」をトランスフォーマーが苦手とする理由の一つがモデルの限界ではなく、訓練データの“タイプ多様性”にある可能性を示します。構成的一般化とは、既に知っている要素を新しい組み合わせで正しく扱う能力です。研究者は語彙（個々の単語や形）と構造（文の組み立て方）の一般化が別物として扱われてきた点に注目し、両者に共通する原因を探しました。

著者らは「タイプ多様性」を、ある種類（例えば名詞句）を作るための異なる構成子（コンストラクタ）がいくつあるか、で定義しました。たとえば「a cat」「the mice」のような単純な名詞句と、「a cat on a mat」のような前置詞句を含む名詞句は別の構成子で作られる、と扱います。実験では Grammatical Framework（文法生成ツール）を使い、既存の診断データセットである COGS と SLOG を言語学的に多様化した変種を作成しました。さらに人工データセット SCAN の百を超える変種も生成して、タイプ多様性を体系的に変えながら検証しました。

方法は単純です。タイプ多様性を増やした訓練データでトランスフォーマーを学習させ、既知の要素を新しい組み合わせで問う「語彙」あるいは「構造」のテストで一般化性能を測りました。結果は、タイプ多様性が高いほど構成的一般化の性能が上がるという相関を示しました。重要な点は、この相関が語彙側のテストだけでなく、従来「難しい」とされた構造側のテストに対しても同程度に見られたことです。

この発見の意味は二つあります。一つは、トランスフォーマーが構造的な一般化を苦手とするのは必ずしもモデルの欠陥ではなく、訓練データの構成に原因がある可能性があること。もう一つは、以前に提案された「複合体発散（compound divergence）が困難さを説明する」という主張と矛盾する点です。著者らはさらに、意味表現の語順などの表層的な特徴や、他の型の多様性が結果に与える影響も調べ、表面の細かいデザインが結果に大きく影響することを指摘しています。

注意点として、報告は相関に基づく結果が中心であり、因果関係を完全に証明したわけではありません。また、実験は主に診断的で小規模なトランスフォーマーや人工データに対して行われています。大規模な言語モデルや実用的なコーパスへそのまま当てはまるかはさらに検証が必要です。コードとデータは公開されており、再現や追加実験が可能です（https://www.github.com/anmoisio/type-diversity）。