« 2015年8月 | メイン | 2015年10月 »
2015年9月24日 (木)
ずっと前に買って積んでおいた、ニューラルネットワークによるビジネス予測についての論文集を本棚から引っ張り出してきた。手早く見通しをつけたくて。
この本、買ったきりなんだか安心しちゃって(よくない癖だ)、目次もちゃんと見てなかったのだが、この本の内容は以下の通り。最初の４章はレビューで、
- Zhang: ニューラルネットワーク(NN)によるビジネス予測全般についてのレビュー。
- Parsons & Dixit: NNによる市場反応予測のレビュー。
- Thawornwong & Enke: NNによる株式リターン予測のレビュー。
- Walczak: NNによる新興市場インデクス予測のレビュー。
残りは事例。ええい、めんどくさいので著者は省略だ。
- NN時系列モデルによるWastewater BOD Levelの予測。
- NNによるツーリズム需要予測。
- 自己組織化マップ(SOM)による市場セグメント・メンバーシップの予測。
- バックプロパゲーションとSOMによる倒産予測。
- NNによる消費者選択の予測。
- 再帰NNによる短期為替レートの予測。
- ARIMAモデルとNNを組みわせた時系列予測。
- NNによるmulti-step 時系列の予測。[二期先より先を予測するときにどうすんべ、一気にやんのか一期先予測を繰り返すんか、という話らしい。NNなら当然一気だべ、と思い込んでいたよ...]
- NN時系列予測におけるweighted windowアプローチ [どういう話だろう？]
- クレジットカードの与信のための予測・分類手法の評価
さて、編者様おん自らによります第一章は...
Zhang, G.P. (2004) Business Forcasting with Artificial Neural Networks: An Overview. Zhang, G.P. (ed.) "Neural Networks in Business Forecasting," IRM Press.
人工ニューラルネットワーク(ANN)の主な応用分野のひとつは予測である。長い間、予測は線形手法によって支配されてきたが、ANNはその有力な対抗馬となった。 非線形的関係をはじめ複雑な関係を近似できるし、データ生成プロセスについての想定がいらず誤指定に強い。
[3層フィードフォワード・ネットワークについて説明があって...] 入力変数の設計が重要。学習の主流はバックプロパゲーション・アルゴリズムによる誤差平方和の最小化。
そのほかのタイプのNNとして再帰NNもよく使われる。時系列モデリングでARよりARMAのほうがリッチなのと同様、フィードフォワード型より再帰型のほうがリッチ。でも設計と学習がちょっと難しい。
1995-2003年の、ANNによる予測事例を表で示す。このように応用分野は幅広い。
モデリング・予測における諸問題。それはアートと科学の結合である。
- まず大事なのは、学習におけるバイアスと、モデル分散(すなわち一般化可能性)のちがいについて理解すること。ANNのようなデータ駆動モデルは、誤指定によるバイアスは小さい反面、データに依存するぶんモデル分散が大きい。
- データ準備。ふつうサンプルは大きい方が助かるわね。学習サンプルと妥当化サンプルにわける。前者を7割から9割くらいにするのが普通。Grangerは最大でも8割だといっている。
- 前処理。Azoffは入力データの規準化方法を4つ挙げている：along-channel, across-channel, mixed-channel, external. そもそも規準化せんでよいという意見もある。
- ネットワークのデザインとアーキテクチャの選択。これも難しい。とりあえずは多層フィードフォワードがおすすめ。隣接層とのコネクションはとりあえず全部張る。
- 出力層。二期より先の時系列予測の場合、マルチステップで予測するより、とりあえず出力ノードを増やすか、期ごとに別のネットワークをつくるのがおすすめ。
- 入力層。なによりもここが大事。がんばれ。
- 隠れ層の数とノード数は... まあそれもいろいろ変えられるけど、とりあえず一層にしとくのが吉、ノードは少なめに。
- 伝達関数は、隠れ層ではロジスティック関数か双曲線関数、出力層では線形関数か同一関数を使うことが多い。ま、結果にはそんなに影響しない。
- 学習。基本的なバックプロパゲーションのほかにもいろいろいいのがあるから試してみるように。
- モデル選択は交差妥当化でやるのが基本。in-sampleでAICとかBICとか使う手も、またpruning法などの方法でやる手もあるけど、限界がある。
- 評価。もっと伝統的なモデルと比べる、out-of-sampleで調べる、十分なサンプルサイズ(分類な40、時系列なら75は欲しい)、が三大鉄則。
というわけで、諸君、本書の以降の章で勉強したまえ。云々。
論文：データ解析(2015-) - 読了：Zhang (2004) ニューラル・ネットワークによるビジネス予測レビュー
Chen, Y. (2011) Mechanisms for prediction markets. Williams, L.V. (eds.), "Prediction Markets: Theory and Applications," Routledge.
題名通り、予測市場の市場メカニズムに焦点を合わせた概観。目次は以下の通り:
- 1. オークショナー・メカニズム
- 1.1 コール・マーケット
- 1.2 連続的ダブル・オークション
- 1.3 一般化コール・メカニズムと合成予測市場
- 2. パリ・ミュチュエル市場
- 3. 自動マーケット・メーカ・メカニズム
- 3.1 マーケット・スコアリング・ルールとコスト関数ベース・マーケット・メーカ
- 1) プロパー・スコアリング・ルール
- 2) マーケット・スコアリング・ルール
- 3) コスト関数ベースのマーケット・メーカ
- 3.2 動的パリ・ミュチュエル・マーケット
- 3.1 マーケット・スコアリング・ルールとコスト関数ベース・マーケット・メーカ
いわく。
予測市場の主目的は情報集約だ。そのためには次の３つの特徴が望まれる：
- 流動性。参加者がいつでも取引相手を見つけられること。
- 表現性。参加者が情報を自由に表現できること。
- 負債有界性。market institution[以下、取引所と訳す]側の潜在的損失に限りがあること。
というのを踏まえて、ここからは主要メカニズムを概観します。
1. オークショナー・メカニズム。取引所は注文マッチングだけやって損失リスクを負わない。当然、負債有界である。次の3種類がある。
1.1 コール・マーケット。参加者は指値注文する。契約$\psi_i$, 数量$q_i$ (正値はbuy, 負値はsell)、指値$b_i$の注文を$(\psi_i, q_i, b_i)$としよう。ここで指値のことを、買い注文のときにはbid price, 売り注文のときにはask priceという。
個別の契約が取引される時点は事前に決まっている。その時点で集まっている注文をまとめ、買い注文と売り注文が釣り合う価格をclearing priceとする(細かい点まで考えると決め方はいろいろある)。で、clearing priceより高い売り注文、安い買い注文は捨て、残った注文を(個別の指値ではなく) clearing priceで一気にマッチングする。
ところで、全注文を指値の高い順に並べ、clearing price をM番目の指値$p^M$ にするのは第M価格オークションだが、M番目の指し値とM+1番目の指し値の間にするのをk-ダブルオークションという。kとは0から1までの間の値で、たとえば0.5-ダブルオークションとはclearing priceを$p^M$と$p^{M+1}$の中間にすることを指す。コール・マーケットはk-ダブル・オークションであるともいえる。
1.2 連続的ダブル・オークション(CDA)。ほとんどの予測市場はこれを使っている。取引所はorder bookを持っている[板のことであろうか]。そこではすべての注文が指し値の高い順に並んでいる。上部が売り注文、下部が買い注文、最低のaskと最高のbidの差がbid-ask spreadである。で、新しい注文が来たらk-ダブルオークションをやって、マッチングできる注文をマッチングさせる。
CDAの問題は流動性の低さである。コール・マーケットは取引の即時性を犠牲にして流動性を確保しているわけだ。株式取引では一日の始まりと終わりにコール・マーケット、そのあいだはCDA、という組み合わせにすることが多い。[←日本では、寄りつきと引けは板寄せ、そのあいだはザラバ、と表現するらしい]
1.3 一般化コール・メカニズムと合成予測市場。コール・マーケットとCDAはbilateralだけど(ある約定について売り注文と買い注文がある)、コール・マーケットをmultilateralに拡張することができる。どういうことかというと...
US大統領選について予測するために、50州それぞれについての独立な市場をつくったとしよう。各市場に民主党勝利の契約と共和党勝利の契約があり、勝った方の契約に1ドル配当する。いま、あるトレーダーが、「フロリダとオハイオでは民主党が勝ちニューヨークで負ける」という見込みについて情報をもっていたとしよう。この情報をこの市場で完全に表現することはできない。
そこで、50州での結果を組み合わせた $2^{50}$ の結果空間を考える。すべてについての契約をつくるのは現実的でないが、なんらかの賭け言語をつくって、結果の組み合わせに賭けられるようにする。「民主党がフロリダとオハイオで勝つ」とか。こういう合成予測市場での注文マッチングは最適化問題としてモデル化できる。
すべての合成契約の実現時のペイオフを1ドルとして考えよう。結果空間を$\Omega$、受けた注文の集合を$O$とする。注文$i$について、数量を$q_i$(買い注文は正値、売り注文は負値)、指値を$b_i$、それが実現したことを表す二値変数を$I_i(w)$、オークショナーがその注文を受けたことを示す二値変数を$x_i$とする[オークショナーは受けた注文一枚につき利益$b_i - I_i(w)$を得るわけだ]。オークショナーの利益を最悪の場合で$c$だとすると、すべての$w \in \Omega$について制約
$\sum_i (b_i - I_i(w)) q_i x_i \lt c_i$
を満たしつつ、$c$を最大化する$x_i$を探す、という問題として定式化できる。[んんん？ 制約式の右辺は$c$じゃなくて$c_i$なの？ まあいいや。本節ここから話が難しくなるので後略]
2. パリ・ミュチュエル市場。ある出来事についての、排他的で包括的な複数の結果のリストがあって、参加者はそのうち好きなのに賭ける。結果確定後、実現しなかった結果に賭けられた賭け金を集めて、実現した結果に賭けた人に、賭け金に応じて比例配分する。たとえば結果$i$への賭け金が$W_i$ドル、合計が$W$ドルだったとして、結果$j$が実現したら、$j$への賭け1ドルあたり$W/W_j$を配当するわけだ。参加者は好きなだけ賭けられるわけで、流動性は無限大である。
パリ・ミュチュエル市場では契約という概念がはっきりしていない。強いて云うと、1ドル賭けた人は「その結果が生じたら、すべての賭け金を株主のみなさまに等分いたします」という契約を一株もらえる。配当は市場が閉まるまで決まらない。参加者からみると、最後の瞬間に賭けることにインセンティブが生じてしまう。
3. 自動マーケット・メーカ・メカニズム。マーケット・メーカがリスクを負って価格を決定し取引する。
オークショナー・メカニズムもパリ・ミュチュエル市場もゼロ・サム・ゲームである。合理的なリスク中立的エージェントはゼロ・サム市場で取引しないはずである(ノー・トレード定理)。いっぽうマーケット・メーカ・メカニズムならポジティブ・サム・ゲームになりうるわけで、合理的エージェントでさえ取引のインセンティブを持つ。それに流動性もある。いやーんステキ。問題は負債有界性をどうやって確保するかである。
3.1 マーケット・スコアリング・ルールとコスト関数ベース・マーケット・メーカ。予想市場におけるマーケット・メーカの事実上の標準である。さあいくぞ、歯を食いしばれ。
1) プロパー・スコアリング・ルール。いったん市場のことは忘れて、専門家に出来事の確率を評定させたとき、彼らを誠実にするようなインセンティブの決め方について考えよう。
予測対象の離散確率変数を$v$、その相互排反で包括的な結果の数を$n$とする。確率評価の申告を $r = (r_1, r_2, \ldots, r_n)$とする。結果$i$が実現したときに与えるスコアを$s_i$とする。スコアの決め方$S=\{s_1(r), s_2(r), \ldots, s_r(r)\}$をスコアリング・ルールと呼ぶ。
リスク中立的な専門家からみて、スコアの期待値が真実申告によって最大化されるようなスコアリング・ルールのことをプロパーであるとよぶ。プロパー・スコアリング・ルールの例：
対数スコアリング・ルール: $s_i (r) = a_i + b \log (r_i)$
二次スコアリング・ルール：$s_i (r) = a_i + 2 b r_i - b \sum_{j=1}^n r^2_j$ ただし$b>0$
プロパー・スコアリング・ルールの研究はもう山のようにある。個々の参加者の申告と全員の申告の平均とのずれに従ってスコアを与えるシェアド・プロパー・スコアリング・ルールというのもある。
2) マーケット・スコアリング・ルール(MSR)。Hansonはプロパー・スコアリング・ルールをマーケット・メーカ・メカニズムに変換する方法を示した。
市場のスタート地点はなんらかの初期確率推定$r^0$である。市場の参加者とは、現在の市場の確率推定によって決められたスコアリング・ルール・ペイメントを払って、現在の確率推定を新しい確率推定に変え、その新しい確率推定によって決まるスコアリング・ルール・ペイメントを受け取る。結果$i$が実現したら、確率推定を$r^{old}$から$r^{new}$に変えた参加者は、$s_i(r^{old})$を払って$s_i(r^{new})$をもらう。ある参加者が市場に一回しか参加しないとしたら、スコアリング・ルールはプロパーだから、彼の真実申告にインセンティブが与えられている。
[いつもここからわけがわからなくなっちゃうんだけど...]
参加者たちは徐々に確率推定を変えていくわけだから、MSRをシェアド・プロパー・スコアリング・ルールのシーケンシャルな適用だと捉えることができる。マーケット・メーカは、最初の参加者から金をもらって最後の参加者に金を払う。マーケットメーカの損失は最悪で
${max}_i sup_{r \in \Delta_n} (s_i(r)-s_i(r^0))$
ただし$\Delta_n$は確率シンプレクス。
[あああ、やっぱりここで狐につままれたような気分になる...]
3) コスト関数ベースのマーケット・メーカ。上の説明はわかりにくいので、別のクラスのマーケット・メーカを定義します。結局は上の話と等しくなります。
結果$i$が実現したら配当1ドル、しなかったら0ドルとなる契約を考える。全トレーダーが持っている数量合計を$q_i$とし、$i$を通したベクトルにして$q$とする。全トレーダーが$q$に払う総金額をコスト関数$C(q)$とする。あるトレーダーが取引して総数量を$q_{old}$から$q_{new}$に変えるとき、彼に$C(q_{new}) - C(q_{old}) $を払わせる。
ある株の価格が負なのはおかしい。また、価格の合計は1にならないとおかしい(でないと鞘取りの機会があることになる)。これを指して、コスト関数が妥当であると呼ぶ。[中略...]
えーと、プロパー・スコアリング・ルールによるMSRは、凸コスト関数ベースのマーケット・メーカと等価であることが示されている。云々云々。[このくだり、覚悟はしていたが、今回も途中で挫折した... しょぼーん]
というわけで、もっともポピュラーなのはLMSRである。コスト関数は
$C(q) = b \log \sum_j \exp(q_j / b)$
[おおっと... 説明例のチャートのなかで、ある株の発行数量$q_i$が負の値をとっている。やっぱしマーケット・メーカとしては負の数量でもオッケーなのか]。
その他のマーケット・メーカとして、Chen & Penncok の効用ベース・マーケット・メーカ、Agrawalらのシーケンシャル・凸・パリ・ミュチュエル・メカニズム(SCPM)がある。
3.2 動的パリ・ミュチュエル・マーケット(DPM)。パリ・ミュチュエル市場とCDAのハイブリッド。パリ・ミュチュエル市場と同じく、実現した結果に賭けた人が賭け金を配分する。ちがいは、株価がダイナミックに変動する点。トレーダーから見ると、コスト関数ベースのマーケット・メーカのようにみえる。コスト関数は
$C(q) = \kappa \sqrt{\sum_j q^2_k}$
結果 $k$が実現したとき、一株あたりペイオフは
$o_k = (\kappa \sqrt{\sum_n q^2_j})/(q_k)$
$\kappa = $1とするのが自然。
DPMでは市場価格が確率を表さない点に注意。
... やれやれ、疲れた。それにしても、MSRの話の難しいことときたら... いつの日か腑に落ちる日は来るのだろうか。
論文：予測市場 - 読了：Chen (2011) 予測市場の市場メカニズム
2015年9月23日 (水)
Gunther, F. & Fritsch, S. (2010) neuralnet: Training of Neural Networks. The R Journal, 2(1), 30-38.
Rのneuralnetパッケージの紹介。実戦投入の際にはなにか公式文書を読むことにしているので(気分の問題である)、いちおうメモ。R Journalの記事だけど。
ええと、ご存知nnetやAMOREパッケージと同じく、ニューラル・ネットワークによる教師つき学習を提供する。nnetと違い多層パーセプトロンがつくれる。アルゴリズムは伝統的なバックプロパゲーションのほかに、より高速なレジリエント・バックプロパゲーションと、ええともうひとつはなんだっけ、忘れちゃったけどなんかもう一つくらい提供している。なにかと柔軟だよ。お絵かき機能もあるよ。信頼区間も出るよ。とのことでありました。
論文：データ解析(2015-) - 読了：Gunther, Fritsch (2010) Rのneuralnetパッケージ
Forsythe, R., Rietz, T.A., Ross, T.W. (1999) Wishes, expectations and actions: a survey on price formation in election stock markets. Journal of Economic Behavior & Organization, 39, 83-110.
予測市場の老舗、アイオワ電子市場 (IEM)における過去の選挙予測市場を中心に、選挙予測市場の価格形成における体系的バイアスを概観する、というレビュー論文。先頭の二人はIEMの中の人だと思う。
まずはIEMにおける選挙予測市場の設計から。
議席市場と得票率市場がある。議席市場の場合、政党Aについての約定は、選挙後の議席の割合で清算される(たとえば、30%の議席を獲得したら30セント)。得票率市場の場合はこれが得票率になるわけね。
IEMは実金銭市場である。参加者はまず定額を払い、これがファンドになる。約定を買えばここから代金が引かれる。
すべての政党なり候補者なりの約定を1つずつセットにしたのを「単位ポートフォリオ」と呼ぶ。これは清算価格が常に(たとえば)1ドルとなるわけで、IEMはこれをいつでも1ドルと交換してくれる。参加者はキャッシュを単位ポートフォリオを交換し、これをばらしたのを取引するわけだ。マッチングは連続的ダブルオークション。
[ここ、いまちょっと関心があるので、細かくメモしておくと(脚注8)...]
トレーダーはbids to buyとasks to sellをいつでも発行できる[limit order, 指値注文のことであろう]。またthey can trade at the best outstanding bid or ask [market order, 成り行き注文のこと]。後者の場合、キューに入る順番はまず価格、次に時間で決まる。成り行き注文の場合、板に残っている未成立の注文がそれにマッチするんだけど、その順番はまずは価格順、価格が同じ注文は時間順。[←ご指摘いただいて読み間違いに気が付きました。ありがとうございます！]
注文から成立までの間に手持ちキャッシュが変動してもいいけど[保証金を入れる必要はないわけね]、いざ成立のときに必要なキャッシュがなかったらキャンセルになる。結局、注文が消える理由は次の通り。(1)取り下げ。(2)時間切れ。(3)成立の段になってキャンセル。(4)成立。
purchase on margin[空買い]とuncovered short sales[空売り]は禁止。しかし、トレーダーはすべての広報を含むポートフォリオを買い、ある候補の株を売ることでsyntheticな売りポジションを構築できる[あーそうか。単位ポートフォリオを場外で売る理由がわかったよ...]。 この結果は、当該候補に対して売りポジションをとるのと同じペイオフとなるが、結果がどうであれトレーダーが市場に対して追加ファンドを負わないという意味で fully coveredである[著者のいうcoveredの意味がここでようやくわかった。現物取引っていうことだ、きっと]
さて、IEMはこれまですんごく成功しております。しかし、そこには体系的なバイアスもある。
- wish fulfillment。望ましい出来事の確率を過大評価するバイアスのこと。ここでは、自分の選好する政党の議席数とかを過大評価すること。これは次の2つに引き起こされると考えられる。
- false consensus。自分の選好が多数派だと考えるバイアスのこと。 2つの方法で調べた。
- トレーダーの選好と市場終了時のポートフォリオと選好の比較。(取引前のアンケートで押さえた)選好政党とその株の割合とに正の相関があったという例を紹介。
- トレーダーの選好と取引。選好と買った株数との間に生の相関があった例を紹介。
- assimilation-contract effect. 選好と合致する方向に情報を取捨選択するバイアスのこと。大統領選前のテレビ討論の勝敗の知覚が選好と合致していたという例を紹介[知覚のせいで選好が生じてるんじゃない、と個人内縦断データを使って議論]。
- ミステイク。次の2種類がある。[意味が分からなかったので細かくメモ(脚注33)...]
- price taking violation(自分に損な値段で注文を受けちゃう)。たとえば1992年米大統領選市場、単位ポートフォリオはブッシュ株とクリントン株。直近のブッシュ株のbest bidが0.5ドル、クリントン株のbest askが0.4ドルだとする。いま、ブッシュ株を売りたい人がいるとしよう。この人は、ブッシュ株のbidに応じて0.5ドルで売ることもできるし、クリントン株のaskに応じて0.4ドルで買い、単位ポートフォリオを1ドルで売ることもできる。どちらも手持ちのブッシュ株が1枚減るが、後者は結局0.6ドルを手に入れているわけで、前者は損な注文を受けちゃってることになる。
- market making violation(自分に損な値段で指値注文しちゃう)。上の例で、ブッシュ株のbidが出てないとして、うっかり0.5ドルのaskを出しちゃうケース。
さて、このような個人レベルでのバイアスは、果たして市場の価格形成に影響するか。
著者らは「マージナル・トレーダー仮説」を提唱している。マージナル・トレーダーとは、市場価格に近い価格で指値を出す活動的トレーダーのこと。個人特性をみるとわずかに男性が多く、結果をみるとリターンは高め。この人たちの取引をみるとバイアスが小さい。平均的トレーダーはバイアスを持っているけど、価格形成しているのはマージナル・トレーダーだから、市場はうまく機能するのだ、という仮説である。
著者らの実験室実験の紹介(元は紀要かなにからしい)。めんどくさいので読み飛ばしたが、鞘取りできるのにしないviolationとか、wishful thinkingとかを再現できた由。
。。。ざっとめくっただけなので(だって長いんだもん)、細かいところを読み飛ばしているのだが、「マージナル・トレーダー仮説」って面白いな。直接的に検証する方法はないもんかしらね。
論文：予測市場 - 読了：Forsythe, Rietz, Ross (1999) 人の判断バイアスは選挙予測市場を歪めるか？
2015年9月 8日 (火)
Ottaviani, M. (2009) The design of idea markets: An economist's perspective. Journal of Prediction Markets, 3(1), 41-44.
ええと、この雑誌のこの号は「予測市場の企業における応用」特集で、その一本がSpears, LaComb, Interrante, Barnett, & Senturk-Dogonaksoy (2009) という論文。2007年のGEアイデア市場の論文があるけど、その詳細分析らしい。で、これは当該論文に対する3pの短いコメント。
要するに、GEアイデア市場は普通の市場と違って(1)ペイオフがアイデアの質についての事後情報とリンクしてないから美人投票になっちゃうはずだし(2)アイデア発案者が取引できるからインサイダー取引や価格操作がし放題だ、これではいかんよ君。というコメントであった。
対策は、(1)についてはペイオフをなんらかの事後情報とリンクさせる。専門家とか二重市場とか(Miller,Resnick,Zackhauser(2005 MgmtSci)というのが挙げられている)。(2)については、ポートフォリオ評価をインセンティブと連動させる、アイデア発案者の取引を禁止する。
ううむ。正論ではある。LaCombらとしては実証データで対抗したいところだろうが、そうそう実験できるものでもないのがつらいところだ。
論文：予測市場 - 読了：Ottaviani (2009) 経済学者からみたアイデア市場批判
« 2015年8月 | メイン | 2015年10月 »