« 読了：江利川, 山田(2015) 2択SAとMAのちがい | メイン | 読了：Clemen & Winkler (1986) 共分散行列もベイズ推定するベイジアン合意モデル »
2016年4月 6日 (水)
Diebold, F.X., Pauly, P (1990) The use of prior information in forecast combination. International Journal of Forecasting, 6, 503-508.
いろんなモデルによる予測を結合したら素晴らしい予測が出来上がるんじゃないかしらという話をしてるところに乗り込んで行ってそんな暇があったらモデルを作り直せと言い放つ 、樹木希林なみにロックンロールな計量経済学者Dieboldさんがご提案する、経験ベイズな予測結合手法。
予測の結合において、MSE最小化を夢見て加重平均を用いるべしとか、諦めて単純平均を使おうとか、いろんな立場がありうるが、根本的な問題は、どの立場がいいのか事前にはわからないという点である。本研究では回帰の枠組みでこの問題に取り組む。
時点$t-1$において、変数$y_t$についての不偏な予測$f^1_t, \ldots, f^m_t$があり、ここから
$C_t = \omega_1 f^1_t + \omega_2 f^2_t + \cdots + (1-\sum_i^{m-1} \omega_i) f^m_t$
と作るとしよう。一期先予測誤差の共分散行列を$\Sigma$として、$C_t$の分散を最小化する重みのベクトルは
$\omega^* = (\Sigma^{-1} i) / (i' \Sigma^{-1} i)$
である($i$は1のベクトル)。元の予測が不偏なんだからMSE最小化だともいえる。これはBates & Granger (1969) にはじまる路線である。分散共分散法と呼ぼう。
次に、回帰に基づく予測結合。Zellnerのg事前分布モデルを用いる。
まず普通の回帰を考える。
$Y = F \beta + \epsilon, \ \ \epsilon \sim N(0, \sigma^2 I)$
係数に自然共役正規-ガンマ事前分布を与えて
$P_0(\beta, \sigma) \propto \sigma^{-K-v_0-1} \exp((-\frac{1}{2\sigma^2})(v_0 s_0^2+(\beta-\beta_0)'M(\beta-\beta_0)))$
ふつう$K=m+1$(切片があるから)。
さて、ここで$M=gF'F$とすると、事後分布の平均ベクトルは
$\beta_1 = \beta_0 + \frac{1}{1-g}(\hat{\beta}-\beta_0)$
$g$はシュリンケージ・パラメータになっているわけである。これをg事前分布推定量と呼ぼう。
この$g$をデータから決める方法を考えよう。
回帰式に戻り、$\sigma$の下での$\beta$の条件付き確率の事前分布を正規とみなして
$P_0 (\beta | \sigma) = N(\beta_0, \tau^2 A^{-1})$
とすると、事後分布の平均ベクトルは
$\beta_1 = \beta_0 + \frac{1}{1-\hat{\sigma}^2/\hat{\tau}^2}(\hat{\beta}-\beta_0)$
となる。g事前分布推定量の$g$が$\hat{\sigma}^2/\hat{\tau}^2$にすり替わったわけである。$\hat{\sigma}^2$と$\hat{\tau}^2$は推定量があって...[省略]。これを経験ベイズ推定量と呼ぼう(さっきのも経験ベイズではあるんだけどね)。
実例。名目・実質GNPについての4社の予測データを用いる。一期先予測について、4社の予測、分散共分散法での結合予測、経験ベイズ推定量による結合予測、いろんなgでのg事前分布推定量による結合予測、を比較。
分散共分散法、OLS回帰による予測(つまりg=0のg事前分布推定量)はぱっとしない。経験ベイズはぐっと良くなる。g事前分布推定量はgが大きいときに良い。gが無限大だということは算術平均だということなので、つまり算術平均への大きなシュリンケージで良くなったという次第である。
... うぐぐぐ。大筋はつかめたけど、細かいところがわからない。やはりg事前分布の話をきちんと勉強せなあかんのか... つらい...
論文：データ解析(2015-) - 読了：Diebold & Pauly (1990) ベイジアン・シュリンケージによる予測結合