« 読了：Bordley (1982) ベイジアン合意モデル | メイン | 読了：江利川, 山田(2015) 2択SAとMAのちがい »
2016年4月 4日 (月)
経済予測でもビジネス上の予測でもなんでもいいんだけど、異なる手法による複数の予想が目の前にあるとき、それを結合すれば最強の予想になるじゃん！... というアイデアについて、Clemen(1989)が長大なレビュー論文を書いている。あとで気が付いたんだけど、この論文には6人の識者によるコメントがつけられていた。
うち5人のコメントをメモ。うっかりしていて、Horgarthという人のコメントは未入手である。
Armstrong, J.S. (1989) Combining forecast: The end of the beginning or the beginning of the end? International Journal of Forecasting, 5, 585-588.
Clemenも述べているように、予想結合についてこれまでに分かっている主な結論は2つある。(1)予想の結合は誤差を減らす。(2)単純な平均でうまくいく。
逆にいうと、これまでの研究から上記以上のガイドラインは得られそうにない。その意味で、我々は終わりの始まりにいる。今後は以下の方向の研究が必要だ。
- メタ分析。コーディングが難しいけど。
- 現実的なシミュレーション。問題点: (1)ある手法が優れている理由はわからない。(2)状況の変化に対応するまでに時間がかかる。
- ルール・ベースの予想。
今後の課題:
- 結合した予測がよりよくなるのはどんなとき？
- 具体的にどんな手法群で予測するのがよいか？
- 単純平均は常に最良か？
- 結合するとどのくらいよくなるのか(コストに見合うのか)？
Diebold, F.X. (1989) Forecast combination and encompassing: Reconciling two divergent literatures. International Journal of Forecasting, 5, 589-592.
計量経済学者にとっては、経済システムにおける構造的諸関係の理解が主目的であり、予想は二の次だ。このパラダイムでは、異なるモデルによる予想の結合などお呼びでない。
この10～15年の間に、計量経済学は理論重視からデータ重視へと大きく舵を切った。我々はモデルの誤指定の可能性を認めるようになり、既知の真のモデル形式をどうやって想定するかではなく、データに最良の説明を与えるモデルをどうやって見つけるかに焦点を当てるようになった。しかしそれでも、異なるモデルによる予想の結合はほぼお呼びでない。そんな暇があったらモデルを改善すべきだ、と考えるのがふつうである。
そもそも予想結合の正しい使い方とは何か。情報集合が即時に結合できる世界であれば、予想ではなく情報集合を結合すべきである。いっぽう、せまる締切か何かのせいで、情報集合の結合が難しい場合も多い。これが予想結合のレゾンデートルである。
計量経済学は長期的視野に立ち、データ生成過程の特徴をうまく捉えるモデルへの累積的な科学的接近を良しとする。プーリングは短期的視野に立ち、対立をどうやって取り繕うかを考える。ま、どっちも大事ではある。
往年の女優メイ・ウェストは「いいことがありすぎるのってステキ」("Too much of a good things is wonderful")といったが、予想結合にはあてはまらない。予想のユーザがモデルのビルダーでもあるならば、情報集合を結合し、真剣な分析を行うべきだ。
もし共分散が既知ならば、最適なプーリング予想のMPSE(予測誤差の平均平方)は最良の予想のMPSE以下となるはずだ。しかし実際にはそうはならない(ウェイトにサンプリング誤差が乗っているから。共線性のせいでさらに深刻になる)。そのため、現実的には単純平均が最良となることが多い。Diebold & Pauly (1990, Int.J.Forecasting)は、ベイジアン・シュリンケージによってさまざまな程度の事前情報を統合する方法を示している。
云々。
Mahmoud, E. (1989) Combining forecasts: Some managerial issues. International Journal of Forecasting. 5, 599-600.
Clemenさんのレビューにはビジネス分野での事例が少ない。主観的予想と定量的予想を組みあわせている例はいっぱいあるのだけれど。[と、簡単なレビュー...]
Makridakis, S. (1989) Why combining works? International Journal of Forecasting. 5, 601-603.
予想の結合で誤差が減るのは、予想の誤差を生む諸要因を平均するからである。諸要因とはすなわち、(1)測るべきものを測ってない。需要の代わりに注文数や生産量を使っている、とか。(2)測定誤差。(3)パターンや関係性が不安定だったり変化してたりする。(4)モデルが過去の誤差を最小化している。
予想結合を改善するポイント: (1)手法の成績をチェックし続け、良い手法だけを結合する。(2)お互いに補完的な関係にある手法を結合する。保守的な手法と過去トレンドの補外を結合するとか。(3)意思決定者からの主観的判断をひきだす。
云々。
Winkler, R.L. (1989) Combining forecasts: A philosophical basis and some current issues. International Journal of Forecasting. 5, 605-609.
予想結合の研究史が意外に浅い理由のひとつは、予想にかかわる人々の多くが統計モデリングの伝統のなかで育ち、真のモデルの探索を重視してきた、という点であろう。もっとも、この伝統と予想結合は必ずしも矛盾しないのだが(重みを「そのモデルが真である確率」と捉えればよい)、私としてはむしろ、この流れゆく世界において真のモデルなんかないのだという立場に立ちたい。
人々の統計的バックグラウンドによるもう一つの帰結として、理論なり過去データなりに基盤を置くという点がある。でも主観的判断も大事だ(これはベイジアンの枠組みでうまく形式化できるだろう)。ポイントは、複数の予測は必ずしも真のモデルを目指して競争しているわけじゃないという点である。
取り組むべき課題:
- 結合ルールの形式。黄金のルールはない、その背後の想定が大事。ベイジアン・アプローチによる研究が有用であろう(実際のルールがベイジアンかどうかは別にして)。
- 予想が一致していたときどうするか。どのモデルもAとBが独立だとみなしていたとして、結合した予測においても独立かというと、これがなかなかややこしい。予想の不確実性のせいで直感に反することがよく生じる。
- 予想が劇的に違っていたらどうするか。
- モデル間の依存性。共線性にどう対処するか。
- 予想の特性の不確実性。データが少ないときにどうするか。
- 予想プロセスの不安定性。モデルが時間とともに性質を変えていく場合とか。
- 頑健性と単純なルールの役割。ベイジアン・シュリンケージで共分散行列を対角行列に近づける路線が有望であろう。
- 集団内相互作用の役割。
...一番おもしろかったのはDieboldという人のコメントであった。異なる予測モデル1, 2, 3...を所与としてその出力を結合することを考えるより、より良いモデルを作ることを目指すべきだというのは、なるほど正論である。実のところ、これは予想結合だけではなく、もっと最近のベイジアン・モデル平均に対してもモヤモヤと感じていた点なのだけれど、この分野じゃそういう風には考えないんだろうな、と諦めていた。そうか、こういう批判はアリなのか。
Dieboldさんとほぼ同じ議論を展開しているにも関わらず、Winklerさんのほうは予想結合に好意的だ、という点も面白い。これは要するに、モデルというものをどう捉えるかという哲学的なスタンスの問題であろう。
論文：データ解析(2015-) - 読了: Armstrong, Diebold, Mahmoud, Makridakis, Winkler (1989) 予想結合をめぐる識者のコメント