« 読了：Chen (2011) 予測市場の市場メカニズム | メイン | 2015年10月・丸善ジュンク堂渋谷店「自由と民主主義のための必読書50」フェア選書リスト »
2015年9月24日 (木)
ずっと前に買って積んでおいた、ニューラルネットワークによるビジネス予測についての論文集を本棚から引っ張り出してきた。手早く見通しをつけたくて。
この本、買ったきりなんだか安心しちゃって(よくない癖だ)、目次もちゃんと見てなかったのだが、この本の内容は以下の通り。最初の４章はレビューで、
- Zhang: ニューラルネットワーク(NN)によるビジネス予測全般についてのレビュー。
- Parsons & Dixit: NNによる市場反応予測のレビュー。
- Thawornwong & Enke: NNによる株式リターン予測のレビュー。
- Walczak: NNによる新興市場インデクス予測のレビュー。
残りは事例。ええい、めんどくさいので著者は省略だ。
- NN時系列モデルによるWastewater BOD Levelの予測。
- NNによるツーリズム需要予測。
- 自己組織化マップ(SOM)による市場セグメント・メンバーシップの予測。
- バックプロパゲーションとSOMによる倒産予測。
- NNによる消費者選択の予測。
- 再帰NNによる短期為替レートの予測。
- ARIMAモデルとNNを組みわせた時系列予測。
- NNによるmulti-step 時系列の予測。[二期先より先を予測するときにどうすんべ、一気にやんのか一期先予測を繰り返すんか、という話らしい。NNなら当然一気だべ、と思い込んでいたよ...]
- NN時系列予測におけるweighted windowアプローチ [どういう話だろう？]
- クレジットカードの与信のための予測・分類手法の評価
さて、編者様おん自らによります第一章は...
Zhang, G.P. (2004) Business Forcasting with Artificial Neural Networks: An Overview. Zhang, G.P. (ed.) "Neural Networks in Business Forecasting," IRM Press.
人工ニューラルネットワーク(ANN)の主な応用分野のひとつは予測である。長い間、予測は線形手法によって支配されてきたが、ANNはその有力な対抗馬となった。 非線形的関係をはじめ複雑な関係を近似できるし、データ生成プロセスについての想定がいらず誤指定に強い。
[3層フィードフォワード・ネットワークについて説明があって...] 入力変数の設計が重要。学習の主流はバックプロパゲーション・アルゴリズムによる誤差平方和の最小化。
そのほかのタイプのNNとして再帰NNもよく使われる。時系列モデリングでARよりARMAのほうがリッチなのと同様、フィードフォワード型より再帰型のほうがリッチ。でも設計と学習がちょっと難しい。
1995-2003年の、ANNによる予測事例を表で示す。このように応用分野は幅広い。
モデリング・予測における諸問題。それはアートと科学の結合である。
- まず大事なのは、学習におけるバイアスと、モデル分散(すなわち一般化可能性)のちがいについて理解すること。ANNのようなデータ駆動モデルは、誤指定によるバイアスは小さい反面、データに依存するぶんモデル分散が大きい。
- データ準備。ふつうサンプルは大きい方が助かるわね。学習サンプルと妥当化サンプルにわける。前者を7割から9割くらいにするのが普通。Grangerは最大でも8割だといっている。
- 前処理。Azoffは入力データの規準化方法を4つ挙げている：along-channel, across-channel, mixed-channel, external. そもそも規準化せんでよいという意見もある。
- ネットワークのデザインとアーキテクチャの選択。これも難しい。とりあえずは多層フィードフォワードがおすすめ。隣接層とのコネクションはとりあえず全部張る。
- 出力層。二期より先の時系列予測の場合、マルチステップで予測するより、とりあえず出力ノードを増やすか、期ごとに別のネットワークをつくるのがおすすめ。
- 入力層。なによりもここが大事。がんばれ。
- 隠れ層の数とノード数は... まあそれもいろいろ変えられるけど、とりあえず一層にしとくのが吉、ノードは少なめに。
- 伝達関数は、隠れ層ではロジスティック関数か双曲線関数、出力層では線形関数か同一関数を使うことが多い。ま、結果にはそんなに影響しない。
- 学習。基本的なバックプロパゲーションのほかにもいろいろいいのがあるから試してみるように。
- モデル選択は交差妥当化でやるのが基本。in-sampleでAICとかBICとか使う手も、またpruning法などの方法でやる手もあるけど、限界がある。
- 評価。もっと伝統的なモデルと比べる、out-of-sampleで調べる、十分なサンプルサイズ(分類な40、時系列なら75は欲しい)、が三大鉄則。
というわけで、諸君、本書の以降の章で勉強したまえ。云々。
論文：データ解析(2015-) - 読了：Zhang (2004) ニューラル・ネットワークによるビジネス予測レビュー