本論文は、LLM（Large Language Model：大規模言語モデル）を用いたTTS（Text-to-Speech：文章読み上げ）で、単語単位の音響属性を明示的にかつ多次元で制御する枠組み「WordVoice」を提案します。従来のエンドツーエンド型の音声合成は自然さが出ても制御は粗く、オーディオブックや映像の吹き替えのような場面で必要な厳密な時間合わせや語ごとの表現操作が難しいという問題があります。本稿は、その問題をデータとモデルの両面から解決しようとしています。著者らは手続きと実装をまとめて公開しています（論文内のデモ URL）。

研究者はまずデータ基盤として、WordVoice-5Aという大規模データセットを作成しました。これは約4.7千時間分の中国語と英語の音声で、各単語について5つの属性を注釈しています。5つの属性とは「duration（持続時間）」「boundary（語境界）」「energy（音の強さ）」「pitch（基本周波数）」「tone（音調／イントネーション）」です。注釈は複数段階の自動パイプラインで行われます。単語のタイムスタンプは Montreal Forced Aligner と Qwen3 のアライナーを併用して抽出し、ラウドネス（音の強さの時間的ピーク）に基づく最適化や整合性チェックを行い、上位約8%の最も品質の高い揃ったデータだけを次段階に残す、といった厳密なフィルタリングを実施しています。

時間属性と音響属性の具体的処理も示しています。語境界は音声学的に意味のある5段階（b0〜b4）に分類され、閾値は例えば b1 が 0.05 秒以内、b4 が 0.4 秒以上と定義されています。音の強さ（エネルギー）はフレーム単位の RMS を算出し、単語レベルでは上位 50% の値を平均して核となる大きさを取り出します。ピッチ（F0）は中心 80% を平均化して立ち上がりや終わりの変動の影響を減らします。音調やイントネーションは、中心的なピッチ軌跡を 16 点に等間隔サンプリングし、二次多項式でモデル化して単語レベルの表現を作ります。

モデル面では、WordVoice は「bound-token（境界トークン）」という仕組みで自律的な“音響計画”をLLM内に明示的に組み込みます。生成の際にまず単語ごとの5つの音響属性を予測し（これをスタイルトークンとして扱う）、その後で音声トークンを自動回帰的に生成します。さらに、離散化されたトークンが失う細かな調子を補うため、トークンから波形を作る段階に細粒度の音響変調モジュールを追加しています。波形合成のバックボーンには FlowMatching と呼ばれる手法を使い、LLM由来のスタイル情報をアップサンプリングして注入します。著者らは、この構成により複数の音響次元を切り離して制御できると報告しています。

本研究が重要な理由は、語ごとに長さや強さ、音高などを明確に操作できれば、話者の感情表現を細かく調整したり、映像の口の動きに厳密に合わせるといった実用的な要求に応えやすくなる点です。ただしいくつかの注意点があります。まず、精度を担保するために注釈時に厳しいフィルタをかけて上位約8%だけを選ぶ設計は、品質を高める一方でデータの多様性やカバレッジを限定する可能性があります。また、論文抜粋では実験結果の詳細や限界の定量的な記述が切り取られているため、提案手法の広い条件下での堅牢性や一般化性能については本文や公開されている音声サンプルを確認する必要があります。著者は実験で優れた制御性とゼロショット合成の安定性を示したと述べていますが、詳細はフルペーパーと付随するデモ資料を参照してください。