「予測」が自然に現れる:知覚を学習した再帰型ニューラルネットの研究
この論文は、感覚を正しく理解するように訓練された人工ネットワークが、追加の指示なしに「将来を予測する仕組み」を内側に作り出すことを示します。ここで言う予測とは、次に来る感覚情報をあらかじめ推定することです。研究者らは、この現象が脳の「予測処理(predictive processing)」という考えとどう関係するかを調べました。
研究チームは、再帰型ニューラルネットワーク(RNN: 状態を持ち時間的な情報を扱える人工ニューラルネット)を使いました。具体的には、バッハの楽曲をトークン化したデータにノイズを加え、それを元に戻す(デノイズする)ようにRNNを訓練しました。ノイズの大きさは複数のレベルで変えています。訓練後はネットワークの重みを固定し、その内部状態から「次のトークンを予測する」ための単純な線形読み出し器(線形モデル)だけを学習させました。
比較のために、同じ線形モデルを単独で訓練したベンチマークも用意しました。結果は、RNNの内部状態から学習した線形読み出しの方が、中程度のノイズレベルでベンチマークを上回る予測を示しました。さらに、RNNの入力に対する応答は「予測誤差(実際の入力と予測の差)」に比例することが観察されました。これらは、RNNがデノイズという感覚課題を解く過程で予測情報を内部に保持し、それを利用していることを示唆します。
この研究が重要なのは、予測処理のような「神経活動の特徴」が、予めそのための目的や制約を与えなくても、感覚をうまく処理するよう最適化するだけで自然に現れる可能性を示した点です。つまり、脳が予測を行う理由の一つとして、「単に感覚をよりよく取り出すことを目指した結果として生じた機構」である可能性を支持する材料になります。
ただし重要な注意点があります。本研究はコンピュータシミュレーションに基づくものです。実験は特定のタスク(トークン化したバッハのデータのデノイズ)とモデル設定に限られます。改善が見られたのは「中程度のノイズ」条件であり、すべての状況で同様の結果が出るとは限りません。したがって、この結果がそのまま生物学的な脳の進化や普遍的な仕組みを証明するわけではなく、あくまで一つの示唆として受け取る必要があります。作者らも追加の検証や異なるデータ・設定での再検討が必要だとしています。