谷口忠大 (2023) 自由エネルギー原理と記号・言語創発: 集合的予測符号化から大規模言語モデルまで. 人工知能, 38(6), 810-817.
谷口忠大 (2024) 集合的予測符号化に基づく言語と認知のダイナミクス: 記号創発ロボティクスの新展開に向けて. 認知科学, 31(1), 186-204.

　研究会の予習で大急ぎで読んだ論文を2本。前者は、人工知能学会誌の「自由エネルギー原理とAI」への寄稿である。

　集合的予測符号化というのは… えーっと…
　マルチモーダル表現学習というのがあって、異なる感覚様相の入力の背後にあるであろう共通の潜在変数を推定するそうだ。で、同じようなことが(複数の感覚様相じゃなくて) 複数のエージェントの間で起きていて、言語獲得でいうところの共同注意の下で、それぞれの私秘的な感覚入力からその背後にある共通的な潜在変数を推論しているのだ、と考える。実際にMetropolis-Hastings名づけゲームというモデルを考えている。なぜMHかというと、聞き手がMCMCでいうMHと同じ受理関数を話し手の名づけを受け入れたり受け容れなかったりするから。前者の論文で心理実験もやってて、とても面白かった。
　で、これの壮大な奴、つまり、たくさんのエージェントが感覚情報を統合してみんなで表現学習しているのだ、というアイデアが集合的予測符号化。
　さらに、むしろ社会のほうが主体なのであって、人間どもの感覚刺激を使って世界を集合的予測符号化するために形成されたのが言語なのではないか、というのが集合的予測符号化仮説である。壮大だ…