« 読了：Talbot & Massamba (2019) 疫学者はどうやって変数を選択しているか | メイン | 読了：Kawamoto & Aoki (2019) 自由記述の民主的分類 »
2019年7月16日 (火)
赤池弘次(1980) 統計的推論のパラダイムの変遷について. 統計数理研究所彙報, 27(1), p.5-12.
勉強のつもりで読んだ奴。
いわく、
統計理論における客観主義と主観主義のふたつの立場が、統計理論の発展にどう影響するかを概観する。
フィッシャーの枠組みは3段階からなる。
- (1)specification. 分布の形$f(\cdot|\theta)$を決める。
- (2)estimation. パラメータ推定値$\theta(x)$を得る。
- (3)test. $f(\cdot|\theta(x))$がデータに適合しているかどうかを検定する。だめなら(1)に戻る。よければ$f(\cdot|\theta(x))$が最終結果となる。
この図式は「すぐれた研究者の心理の動きにひとつの客観的な表現を与えようとしたものといえる」。研究者ににとって最も重要な仕事は$f(\cdot|\theta)$の範囲の決定で、ここに主観的要素がはいってくる。
フィッシャーは、先験確率(事前確率)を使って推論することによって生まれる恣意性を避けるために、尤度概念を基礎とした理論を展開した。たしかに、尤度は客観的に理解可能な確率概念(相対頻度の極限)に基づいている。しかし、$f(\cdot|\theta)$の想定には主観が入る。つまり、フィッシャーの理論だって主観を排しているわけではない。フィッシャー自身もこの点について慎重な立場を保っていた。
[対数尤度と熱力学的エントロピーの対応について...カイ二乗検定とは統計モデルのエントロピーの意味での適合度が想定する仮説の制約によってどれだけ下がるかを測っている... フィッシャーは情報量とエントロピーとの対応には気が付いていたが、平均対数尤度とエントロピー(の確率論的表現)との同一性に気が付いていなかった... それが奴の限界だった...云々。中略]
フィッシャーの枠組みでは、入力はデータ$x$で出力は$f(\cdot|\theta(x))$である。分布型は(3)において決まっている。つまり、(3)でやっている検定は、実は分布型の推定を含むより一般的な推定の実現に利用されている。検定はエントロピーの意味で最適な分布型を推定しようとしていると解釈できる。
このように、検定というのは本質的には推定である。フィッシャーはエントロピー概念を欠いていたので、検定と推定を併置してしまい、以後数十年間にわたる統計理論研究の停滞を引き起こすことになった。
さて。
たとえば、多くのパラメータをもつ複雑なモデルを実用化しようとすると、そのぶん標本サイズが足りなくなるので、最尤推定値を使うだけじゃなくて、尤度関数の形全体を推論のために使おうという話になる。
$\theta$が固定されてたらモデルの尤度は$f(x|\theta)$だけど、$\theta$について先験確率$p(\theta)$が与えられてたらその事後分布は
$p(\theta|x) = f(x|\theta) p(\theta) / p(x)$
ただし
$p(x) = \int f(x|\theta) p(\theta) d\theta$
である。ベイジアンの立場とは、「関心のある事象を表現するに必要な$\theta$を考え、その先験分布$p(\theta)$がデータ$x$によって事後分布$p(\theta|x)$に変換されるという形でデータ$x$の与える情報は利用されるべきだというにつきる」。
$\theta$に依存する量$h(\theta)$について、$x$の下での$h(\theta)$の期待値は
$E_x h(\theta) = \int h(\theta) p(\theta|x) d\theta$
だが、これは尤度関数$f(x|\theta)$の全体によって決まるわけで、最尤推定値$\theta(x)$しか使わないというのは尤度関数の局所的な情報しか使ってないことになる。つまり、もし適切な先験分布$p(\theta)$が手に入るんなら(ここが難しいわけだけど)、最尤法よりベイズ法のほうが優れているわけである。
[具体例... 中略]
問題は先験分布の決定である。
よくある説明は、先験分布$p(\theta)$は主観確率で$f(\cdot|\theta)$は客観確率だというものだ。で、このふたつの確率概念を客観確率に統一しようとするのが客観主義者、主観確率に統一しようとするのが主観主義者である。
[ここで主観主義者サベジを批判、ならびに客観主義者も批判。面白いんだけど中略。イアン・ハッキング「確率の出現」を引用している。まだ読んでないけど、あれ、結構古い本だったんだなあ...]
[先験分布は別にimproperでも構わないんだという話。これも中略]
というわけで、主観主義も客観主義もまちがっておる。フィッシャーのいう尤度は実は結構主観的だった。サベジは$f(\cdot|\theta)$の主観性を見落としている。
ベイズ統計の技術的な寄与は、「先験分布という極めて自然な、我々の心理的期待を良く表現する要素を統計的モデル構成の分野に積極的に導入したことである」。$f(\cdot|\theta)$と$p(\theta)$によって与えられるモデルの良さが、モデルの尤度$p(x)$によって客観的に評価される。「こうしてフィッシャー流の方法を、いくつかの$p(\theta)$の集まりによって表現されるモデルの族に対して展開していくことが容易に実現される」。
云々。
論文：データ解析(2018-) - 読了：赤池(1980) 統計的推論のパラダイムの変遷について