要旨：研究チームは、公開されている医学文献（PubMed Central、PMC）を自動で処理して、医療用の画像と説明文の高品質なペアを大量に作る仕組み「MedPMC」を作りました。PMCの6.1百万記事を対象にして、11百万の医療画像–文章ペアを抽出しました。目的は、画像と言語を同時に学べる医療向け基盤モデルをより良いデータで育てることです。

何をしたか（仕組みの高レベル説明）：MedPMCは五つの連続した処理段階から成ります。まず初期スクリーニングで医学に関係する図を選びます。次に複数パネルからなる図の検出と分割を行い、各サブ図と対応する小見出し（サブキャプション）を切り出して合わせます。最後に医療に関係する図かどうかを判定します。各段階は専用のモデルで自動化されており、例えば初期スクリーニングのF1スコアは93.2、複合図の検出F1は96.5、図の分離は平均適合率（mAP）89.8、キャプション整列のF1は81.4、医療図分類のF1は96.5という性能を示しました。

成果と評価：手作業の確認では、5人のアノテータ（うち3人は医療訓練あり）が検査して、MedPMCの画像の95.3%が臨床的に関連すると判断しました。比較対象の既存のPMC由来データセットでは19.7%しか医療関連ではありませんでした。MedPMCで作ったデータで訓練した「MedPMC‑CLIP」（視覚と言語を同時に学ぶCLIPタイプのモデル）は、26の公開ベンチマーク（11の診療領域）で平均ゼロショットAUCを既存の強い生物医療CLIPベースラインより7.1ポイント改善しました。これは、MedPMCが半分以下の学習ペア数で達成した改善です。さらに、マルチモーダル大規模言語モデルの視覚部を置き換える実験では、医療の画像質問応答ベンチマークで1.9と16.9ポイントの改善を報告しています。臨床データでの評価として、イェール系病院の10,524枚の皮膚写真を使った検索課題では、MedPMC‑CLIPがRecall@5を11.7ポイント改善しました。

なぜ重要か：医療分野では画像と文章など複数の情報を同時に扱う必要がありますが、公開で使える大規模で質の高いマルチモーダルデータは不足していました。MedPMCは既存の論文群を「許諾可能な」データ源として自動で高精度に整備し、希少な撮影モダリティ（スリットランプ写真、手術標本の肉眼写真、内視鏡など）も含む広い専門領域をカバーします。また、静的なスナップショットにとどまらず、毎年100万件以上の新しい医療関連ペアを識別できるよう設計され、データとモデルを継続的に更新できる点が特徴です。作成した仕組み、コーパス、ベンチマーク、学習済みモデルを公開すると明示しています。

重要な注意点と限界：論文自体も指摘する通り、学術論文の図は研究成果を伝えるために作られており、そのまま学習用データとして最適化されているわけではありません。既存の大きなPMCデータセットでは80.3%が非医療画像で、61%が分割されていない複合図だったと報告されています。MedPMCは大幅に改善し95.3%が医療関連と評価されましたが、約4.7%は依然として医療関連でない可能性があります。さらにMedPMCは「許諾された」文献に依存するため、非許諾の資料は含まれません。今回の評価は多数のベンチマークと一つの臨床写真コホートで有望な結果を示しましたが、あらゆる臨床現場や稀なケースで同様に機能するかは追加検証が必要です。以上を踏まえ、MedPMCは再現可能で拡張可能なデータ基盤として有望ですが、実臨床での幅広い適用にはさらなる検証が求められます。