この論文は、ウェブ上の公開コメントなど第三者が書き込める場所を通じて、言語モデル（LM）の事前学習データに悪意ある文を紛れ込ませることが可能かを示します。研究者は、新しい解析手法「HALFLIFE（ハーフライフ）」を導入し、注入された有害テキストがクローリングやデータ整備を経て最終的に学習データに含まれる確率を推定しました。主張は誇張ではなく「実行可能な攻撃経路が存在する」とする慎重な提示です。

研究チームはまず攻撃面として「第三者コンテンツ注入」を定義しました。これはサイト運営者が所有しない場所に、コメントや外部コンテンツを自動投稿して攻撃者が制御する文章を広める手法です。攻撃者は特別なアクセスや学習パイプラインの直接操作を持たないと仮定します。代わりに、ブラウザ自動化ツール（例：Selenium）で大量の投稿を行い、どれだけの投稿が後段のクローラやフィルタを通り抜けるかに頼ります。候補サイトの選定には、実際のクローラーが参照するCommon CrawlのWARCダンプを用いて、現実的なウェブ分布を反映させました。

HALFLIFEは注入→捕捉→通過の三段階で生存確率を分解して推定します。S1は「注入可能か（injectable）」、S2は「クローラーが抽出するか（captured）」、S3は「データ整備で削除されないか（not filtered）」です。論文はこれらを組み合わせて文書レベルの包含確率P(include)=P(injectable)×P(captured|injectable)×P(notfiltered|captured,injectable)として表し、実験では注入されたテキストのスクレイピングとフィルタリングの模擬を通じて各値を評価します。

実際の評価では、公的なコメント欄のような公開ディスカッションインタフェースが学習データに到達しうることを示しました。論文中には「Common Crawl上での推定包含確率が0.15%」という数値があげられており、これは従来研究で扱われたWikipedia部分（0.067%）より多くの文書に影響を与えうる規模です。一方、広告のようなプログラム的配信はHALFLIFEの解析では成功しにくいベクトルだと結論づけています。さらに、注入が実際に事前学習済みや指示調整（instruction‑tuned）モデルの出力に影響を与えることを、制御されたスケーリング実験で示しています。論文は自然な形式の文（既存のページに溶け込む形）だとデータ整備で見つけにくいとも指摘します。

重要な注意点も明確に述べられています。まず、この攻撃は確率的で間接的です。攻撃者はどのページが最終的な学習データに入るかを制御できません。クローラーの挙動やHTML→プレーンテキスト変換の仕方、重複除去や品質フィルタなどのデータ整備処理が注入の生存に大きく影響します。論文の推定はこれらの要素を模擬して求めたものであり、実際のパイプラインやサイトごとの対策次第で結果は変わります。最後に、提示された抜粋は全文ではない可能性があり、詳細や追加の実験は原論文の本文と付録を参照する必要があります。研究チームは解析コードを公開しています。