CARE v1.0:音声と非言語情報を含む医療向けビデオデータセット(約144時間、12の病状+対照群)
この論文は、音声だけでなく顔の動きや視線などの非言語情報も使って病気や症状を調べるための大規模なデータセットを公開したことを報告しています。著者らがまとめたCARE v1.0は、短いビデオインタビュー約4,281本、合計143.5時間(要約では約144時間)を収め、612人の個別参加者を含みます。収録は英語で、12の医療条件(たとえば喘息、うつ、パーキンソン病、脳卒中など)と対照群が含まれます。
研究者が行ったことは二段階の作業です。まず、University of Oxfordが公開しているHEXIというアーカイブから関連する参加者プロファイルを選び出しました。次に、選んだビデオに対して自動処理で多様な特徴を計算し、音声の出し方、顔の表情、視線パターン、上半身の動きなどの「マルチモーダル」記述子(=音や視覚の両方を含む特徴)をあらかじめ用意しました。さらに、投薬や生活への影響、感情表現など、インタビュー本文から抽出した構造化メタデータをCSVファイルとして提供しています。
メタデータ抽出は、自動化された言語モデル(gpt-oss-120b)を用いています。研究チームはvLLMという実行エンジンで温度パラメータを0に固定して、再現性のある出力を得るようにしました。モデルには「情報が不十分な場合は'na'を返す」と明示的に指示しています。こうした手順で得られた情報は、各ビデオごとの臨床に関心のある説明(投薬の言及、合併症の可能性、示された感情など)を補強します。
このデータセットが重要な理由は明快です。これまで公開されてきた資源は小規模だったり、単一の病状に限られたり、音声のみだったりしました。CAREは複数の病状を横断し、非言語情報も含むことで、病気や症状の自動検出、感情や対処の研究、病状経過の解析などを幅広く支援できます。研究や教育用途を想定しており、倫理審査を経たHEXIプラットフォーム由来の素材で構成されています。
ただし重要な注意点もあります。データはHEXIのインタビュー記録からの抜粋であり、臨床検査の標準手順で得られた記録ではありません。収録の内容や状況は長年にわたるインタビューの集合で変動があり得ます。また、メタデータ抽出に自動化ツールを用いているため、誤抽出や抜けが存在する可能性があります(論文は検証研究を行ったと記していますが、詳細は本文の別節に示されます)。さらに、解析可能なビデオだけを残すフィルタリングを行ったため、サンプルに偏りが入る可能性もあります。これらを踏まえ、CAREは多目的な研究資源として価値が高い一方、利用時には元データの性質と抽出プロセスを考慮する必要があります。