« 読了：Linzer & Lewis (2011) RのpoLCAパッケージ | メイン | Sirken, et al. (1999) 「認知と調査法研究」目次メモ »
2017年9月 9日 (土)
Carlin, B.P., & Louis, T. (2000) Empirical bayes: Past, Present and Future. Journal of the American Statistical Association, 95(452), 1286-1289.
以前、人と話していて、ふと「経験ベイズ」って正確にはどういう意味なんだろうか...と不思議になった。何をもって経験ベイズと呼ぶのか。それは手法か哲学か。
ろくに知識もないのにあれこれ考えてもしょうがないので、検索で引っかかったやつをざっと読んでみた。この雑誌のこの号では"Vignettes for the Year 2000"と題し、「これからの○○はどうなるか」的な短い解説を22個のトピックについて載せた模様で、これは「経験ベイズ」についての寄稿。他のトピックは「ベイズ統計」「ブートストラップ」「変数選択」といった感じ。
いわく。
経験ベイズ(EB)という言葉はあいまいで、モデルのクラスを指すこともあれば、分析のスタイルを指すこともあれば、統計的手続きの哲学を表すこともあるんだけど、どんな定義であれ、まずはフル・ベイジアンとの違いから始めるという点では共通している。
観察データ$y=(y_1, \ldots, y_n)$の分布を、未知パラメータ$\theta=(\theta_1, \ldots, \theta_k)$によって$f(y|\theta)$とモデル化したとしよう。頻度主義の立場からみると$\theta$は固定されているが、ベイジアンは事前分布$\pi(\theta|\eta)$を想定する。$\eta$が既知ならばベイズ・ルールを適用して、事後分布$p(\eta|y, \eta)$が得られる。
さて、$\eta$が未知である場合、$\eta$についての情報は$y$の周辺分布$m(y|\eta)$によって捉えられている。さらに、もし$f$と$\pi$が共役なら(すなわち、もし$p(\eta|y, \eta)$が$\pi$と同じ分布族に属していたら)、$m(y|\eta)$は閉形式で得られる。
フル・ベイジアン(またの名をベイズ経験ベイズ, 略してBEB)ならば、ハイパー事前分布$h(\eta|\lambda)$を想定するところである。このとき、事後分布は結局
$p(\theta|y, \lambda) = \int p(\theta|y, \eta) h(\eta|y, \lambda) d\eta$
となる。事後分布とは、$\eta$を固定したときの事後分布と、データで更新したハイパー事前分布の混合となるわけである。
いっぽう経験ベイズでは、$\eta$をデータから推定する(たとえば周辺最尤推定量で)。で、事後分布として$p(\theta | y, \hat{\eta})$を使う。
BEBもEBも、$\eta$についての情報をデータから得ているという点では同じことである。ちがいは一番上の分布$h$を含めているかどうかだ。BEBの美点は$\eta$にまつわる不確実性をうまく組み込んでいるという点で、欠点は$h$の選択が難しいという点である。
EBによる$p(\theta | y, \hat{\eta})$は、$\eta$の不確実性を考慮していない分、狭くなる。これをどうにかしようというのが、EBの世界の長年の課題であった。
一つのアプローチはパラメトリックEBである。このアプローチでは、下から2番目の分布$\pi(\theta|\eta)$をパラメトリックな形式で与え、あとは$\eta$さえが決まれば事後分布が完全に決まるようにする。Morris(1983 JASA), Casella(1985 Am.Stat.)を参照のこと。
もうひとつのアプローチはノンパラメトリックEB。最後から2番目の分布を単に$\pi(\theta)$とする。この路線はRobbins(1955)に始まる。変種としてノンパラメトリック最尤法というのもある。
皮肉なことに、EBの歴史はそれほど「ベイジアン」ではない。[頻度主義の観点からみて良い性質を持つ決定ルールが目指されていたという話... 略]
パラメトリックEBはStein推定と強い関係があって...[略]
初期EBは、まず事前分布を決めるためにデータを使い、事後分布を求めるためにもう一度データを使った。この方式は当時のベイジアンたち(多くは主観主義的ベイジアン)に忌避された。SavageはEBを指して、ベイジアンの卵を割っておきながらベイジアンのオムレツを拒否する奴らだと呼んだ。でもEBは、その後の客観主義的ベイジアンを準備し、その発想はのちにGibbsサンプラーの登場によって花開くこととなる。
EBは現在普及しており...[略]
メタ分析とも関係があって...[略]
まだまだ進化しております、たとえば...[略]
EBの未来はどうなるか。MCMCがこんだけ普及すると、近似としてのEBはもはや出番がないという悲観的見方もある。でも、MCMCは「プラグ・アンド・プレイ」とは言い難い。収束判定は厄介だし、でかいモデルをむやみに作りそうになっちゃうし。EBの出番はまだまだあります。
たとえばですね。分散要素$\tau^2$についてあいまいなハイパー事前分布を決めるという問題について考えよう。いまポピュラーなのは$gamma(\epsilon, \epsilon)$で、つまり平均1、分散$1/\epsilon$だ。しかし最近の研究では、これは無情報に見えて実は事後分布に大きな影響を与えることが示されておる。さらに、この分布は$\epsilon$を小さくするとimproperに近づき、MCMCの収束が難しくなる。いっそ$\tau^2$を$\hat{\tau}^2$に置き換えちゃったほうが安全ではないですかね。まあ純粋なベイジアンじゃなくなっちゃうけど。
EBもBEBも良いやり方だし、どちらも万能薬ではないです。みなさまそれぞれ哲学的傾向をお持ちだと思いますが、手法選択の際にそれに殉じることはないんじゃないでしょうか。
云々。
...パラメトリック/ノンパラメトリック経験ベイズについての説明がよく理解できなかった... 歴史に属する話なのかもしれないけど、なんだか悔しい。なにか別のを読んだほうがよさそうだ。
論文：データ解析(2015-) - 読了：Carlin & Louis (2000) 経験ベイズのこれまでとこれから