Sanborn, A.N., Griffiths, T.L. (2007) Markov Chain Monte Carlo with People. Advances in Neural Information Processing Systems 20 (NIPS 2007).
しばらく前に読んで衝撃を受けた論文。カテゴリ判断の心理実験を一種のMCMCアルゴリズムとして捉える、という話である。被験者が課題を遂行する際の認知過程をモデル化してMCMCで推定する、という話ではなくて、課題遂行そのものがマルコフ連鎖になっているのである。
1. イントロダクション
本論文では、主観確率分布についての情報を直接に得る方法について述べる。人間をMCMCの要素として働かせるのである。
これまでの研究は、心理学的な反応の強度を選択確率に関連づけようとしてきた。その結果、課題の数学的モデルがつくられてきた。いっぽう本研究では、人間の選択行動のモデルとMCMCの受理関数というのは等価だと考えて、ある主観確率分布から標本を得る課題を設計する。MCMCのパワーでもって人間の学習者の知識を探索しようというわけである。
2. MCMC
科学者が使っている物理現象のモデルの多くは、いろんなできごとを通じた複雑な確率分布、という形で表現される。その性質を調べたければ、これらの分布から標本を抽出すればよい。ところが標本抽出が難しいことも多い。そこで洗練されたマルコフ連鎖アルゴリズムが開発されてきた。そのひとつがMCMCである。
MCMCでは、目標分布を定常分布とするマルコフ連鎖を構築する。うまく収束したら、連鎖が訪れた状態は目標分布からの標本だとみなせる。
標準的なMCMCはメトロポリス法である。状態間の遷移を、提案分布と受理関数にわける。まず現在の状態に基づいて、次の状態の候補を提案分布から抽出する。で、受理関数でもってその提案を受理する確率を決める。提案が棄却されたら、次の状態は現在の状態とする。
マルコフ連鎖の定常分布が目標分布になるのを保証してくれる受理関数はいろいろある。もし提案分布が対称的なら(つまり、現在状態\(x\)から新状態\(x^*\)を提案する確率がその逆と同じなら)、Barker受理関数というのを使うことができる。目標分布のもとでの\(x\)の確率を\(\pi(x)\)として、$$ A(x^*; x) = \frac{\pi(x^*)}{\pi(x^*) + \pi(x)}$$ という受理関数である。
3. 人間の行動から受理する関数
我々のアプローチはどんな主観確率分布に対しても適用できるけど、ここでは、いろんなカテゴリのモノを通じた分布からの抽出に焦点を当てよう。
ひとはモノをカテゴリにわけますよね。人間の分類についてのモデルは山ほどある。Anderson(1990 書籍), Ashby & Alfonso-Reese (1995 J.Math.Psy.), Reed(1972 Cog.Psy.), Medin & Schaffer (1978 Psy.Rev.), Nosofsky (1986 JEP:G)をみよ。それらはふつう、カテゴリの定義とはモノを通じた確率分布だと解釈している。[ああ… 懐かしすぎて胸が痛むぜ。モノたちを鳥だとカテゴリ化するということは、世界のたくさんのモノに対してそれが鳥である確率を与えていくのと同じだ、といいたいんでしょうね]
3.1 選択課題をベイズ的に解釈する
モノ\(x_1, x_2\)があり、どっちかがカテゴリ\(c\)に属する、さあそれはどっちだか選べ、という課題について考えよう。
合理的なベイジアン学習者の観点から考えると、これは2ちのふたつの仮説のどちらかを選択するという課題である
\(h_1: x_1\)はカテゴリ分布\(p(x|c)\)からのドロー、\(x_2\)は対立分布\(g(x)\)からのドローだ
\(h_2: x_1\)は対立分布\(g(x)\)からのドロー、\(x_2\)はカテゴリ分布\(p(x|c)\)からのドローだ
事後確率は$$ p(h_1|x_1, x_2) = \frac{p(x_1|c)g(x_2)p(h_1)}{p(x_1|c)g(x_2)p(h_1) + p(x_2|c)g(x_1)p(h_2)}$$ である。
次の2つの仮定を置こう。(1)仮説間で事前確率は等しい。(2)対立分布の下での2つの刺激の確率はほぼ等しい。つまり\(g(x_1) \approx g(x_2)\)。
すると$$ p(h_1 | x_1, x_2) \approx \frac{p(x_1|c)}{p(x_1|c) + p(x_2|c)}$$ と書けますね。
[この辺まで眺めて、これはやばい、面白い、と気がついたのであった…]
3.2 課題から受理関数へ
上の式は、最初に紹介したBarkerの受理関数と似ている。MCMCの文脈にあてはめると、\(x_1\)が提案\(x^*\)、\(x_2\)が現在状態\(x\)で、\(h_1\)の事後確率が\(x_1\)の選択確率だとするならば、\(x^*\)の選択確率$$ A(x^*; x) = \frac{p(x^*|c}{p(x^*|c) + p(x|c)} $$ は、目標分布\(\pi(x) = p(x|c)\)についてのBarker受理関数ではないですか。
この式は、人間の選択確率のモデルの世界で長い歴史を持っている。Luceの選択ルールとか比ルールっていいますね。実際の選択にうまくあてはめることが知られている。Bradley(1954)とかをみよ。認知モデルにおいて広く使われている式でもある。Nosofsky(1987, JEP:LMC)とかをみよ。
3.3 より柔軟な反応ルール
実際の選択行動はよりdeteministicだという話もある(Vulkan, 2000 J.Econ.Survey)。そこで定数\(\gamma\)をいれて $$ A(x^*; x) = \frac{p(x^*|c)^\gamma}{p(x^*|c)^\gamma + p(x|c)^\gamma}$$ と拡張するという提案もある。この反応ルールは、2つの仮説の対数オッズにソフトな閾値を適用する(ゲイン\(\gamma\)を持つシグモイド関数を適用する)ことで導出できる。このルールは，定常分布\(\pi(x) \propto p(x|c)^\gamma\)のマルコフ連鎖を定義しているとみることもできる。
3.4 要約
このように、MCMCによってカテゴリ分布から標本をドローする単純な方法を定義した。それぞれの試行において、対称分布から提案をドローし、ヒトに現在状態と新状態を選んでもらう。選択がLuceの選択ルールに従うと仮定すれば、このマルコフ連鎖の定常分布はカテゴリ分布となる。連鎖の状態はカテゴリ分布からの標本だということになり、そのカテゴリの心的表現についての情報が手に入ったことになる。
4. 既知のカテゴリを使ってMCMCアルゴリズムを検証する
4.1 方法
魚の形の図形をたくさん用意する。形は同じ、体長も同じだが、高さはいろいろ。天然(高さは2.63cmから5.76cmの一様分布に従う)と養殖(高さは正規分布に従う)の2種類がある。後者の平均と分散が要因(2×2、被験者間操作)。
被験者は学生50人。まず訓練試行(120試行)を行う。天然は高さはいろいろだけど養殖は高さが似ていると教示した上で、(1)実験者は天然か養殖かを等確率で選び、(2)それぞれの分布から図形をひとつドローして提示し、(3)天然か養殖かを判断させて、(4)正解を教示する。これを繰り返す。
本試行(1ブロックは60試行)。2つの魚図形を並べて提示し、どっちが養殖かを選ばせる。実はどっちもその場でつくっていて、いっぽうは現在状態[ってことは、前の試行で選んだ奴が必ず出てくるってこと？]、他方は提案状態である。提案状態は現在状態を平均とする正規分布(を離散化したやつ)からドローする。ただし現在状態を同じのを出すことはない。
本試行を1ブロックやったら訓練試行ブロック(60試行)をやりなおす。
[不注意で読み落としているんだろうけど、いろいろ疑問がある。(1)提案分布の分散はどうするの？ (2)本試行ブロックと訓練試行ブロックは何回繰り返すの? (3)次の節の結果には、ひとりの対象者あたり3本のマルコフ連鎖が書かれているんだけど、これはなに？ (4)チャートでは80試行までやったことになっているんだけど、60試行っていってなかった？
(2)(3)(4)については、ひょっとすると、3本の長さ80のマルコフ連鎖を同時に走らせた(3試行前の選択結果が現在状態になる)、つまり総試行数は240で、これを実現するために60試行のブロックを4つやった、ってことかなあ]
4.2 結果
各対象者の本試行での状態をマルコフ連鎖とみて、連鎖がクロスしたら収束したことにする。収束しなかった10人、脱落したりした2人を除外。だいたい20試行までにクロスしているので、21試行目から分析する。
各対象者のMCMC標本から推定した平均は訓練時の平均と対応している。分散は訓練時の分散より大きい。知覚的ノイズのせいか、\(\gamma\)が1以下だからだろう。
5. 自然カテゴリの構造の探求
[こんどは動物の線画を使い、訓練なしの実験で、キリンと馬とネコと犬の分布を調べたと書いてあるが、非常に簡単な説明に留まっている。詳しくは当日会場で話しますってこと？ NIPSでもそういうのありなのかなあ]
6. 要約と結論
画像分類のような方法はクラスの決定境界を推定するが、本手法は主観確率分布を推定する。カテゴリ化の研究では典型性評定を集めることがあるけど、本手法はそれに近い。カテゴリ分布が広いパラメータ空間の狭い範囲に集中しているなら本手法のほうが効率的であろう。
本手法はカテゴリについての主観確率分布を調べる方法だが、他のセッティングにおける主観確率分布の検討にも似た手法が使えるだろう。
人間のパフォーマンスのモデルと、機械学習アルゴリズムとのつながりを考えることで、認知についてたくさんのことがわかるかもしれない。たとえば、Gibbsサンプリングをつかって分布から標本を生成できるかもしれない(被験者が条件付き分布から標本を引き出してくれるようななんらか上手い課題を作れればの話だが)。
人間を機械学習アルゴリズムの要素として使うというのはほとんど未開拓の領域であり、人間の学習・推論を導く知識についての仮説を効率的に検証するために、検討が必要な領域である。
———-
自分の仕事と強くつながっている話なので、どこがどう面白いのかは省くけど、くそう、面白いなあ。いま調べてみたら、2010年にCog.Psy.の論文になっている模様。