« 読了：Krishna & Schwarz (2014) センサリー・マーケティングと身体化認知 | メイン | 読了：Wilson(2002) 身体化認知という概念を解剖する »
2014年12月16日 (火)
Graefe, A. (2014) Accuracy of vote expectation surveys in forecasting elections. Public Opinion Quarterly, 78, 204-232.
ぼんやりPOQのサイトを眺めていて、アブストラクトを数行読んで、これはえらいこっちゃ、と青くなった論文。まさにこれ、こういう研究を探していたのに、これまで見つけることができなかった。探し方が悪かったのだ。嗚呼愚かなり。
表題の vote expectation surveyというのは、「誰に投票しますか」ではなく「誰が勝つと思いますか」と尋ねる調査のことで、citizen forecastともいう、とのこと。くっそー、そういう言葉があったのか。
話を大統領選予測に絞る。従来の方法として、専門家予測、伝統的な世論調査(誰に投票しますか。以下VI)、予測市場(具体的にはIEMのこと)、量的モデル(経済指標などで重回帰する)がある。伝統的な世論調査といっても、単独の予測だけではなく、複数の調査を組み合わせたり、時系列で追ってって投票日にどうなるか予測したり(poll projections)といった工夫が可能。
さてvote expectation (以下VE)は、Lazarsfeldの昔からwishful thinkingの存在が指摘されてきたんだけど、これが案外正確なのである。注目を集めたのはLewis-Beck & Skalaban (1989, British J. Political Sci.)で、1956年以降のAmerican National Election Study (ANES) のVE設問を分析、69%の回答者が勝者を言い当てていたことを示した。2012年までに拡張すると70%。州別にみても69%。英国の調査の分析でも同様の結果が得られている。理論面では、Murr(2011, Electoral Survey)がコンドルセの陪審定理とVEを結びつけ、回答者数、勝者と敗者の差、そして調査回答日のばらつきが大きいときにVEの集約が正確になる、ということを示している由。とはいえ、VEの研究は少ない。
Rothschild&Wolfers(2012,SSRN)は、ANESにおいてVI質問とVE質問を同じ対象者に聞いた調査について分析している[←ベイジアン自白剤そのものだなあ...]。VEの方が正確。考えられる理由は：(1)VIからは態度未定者が落ちる。(2)VEは他者の態度についての知識を反映する。[←面白い!!!]
予測市場との優劣はどうか。ANESのVEとIEMの大統領選予測を比べると、VEのほうが若干正確。他の予測課題でも同様の報告がいくつかある。考えられる理由は、評定者の多様性。IEMの参加者にだってwishful thinkingはあるし、白人男性・高学歴・高収入・共和党支持者が多めだ。
というわけで、公表されているデータを用い、大統領選予測におけるVEの正確さについて調べてみました。
VEを聞いている調査は1932年以降で217個ある(ギャラップとかANESとかを全部合わせて)。集計結果が勝敗を予測できたのは193個、つまり89%。得票率を予測するために、VEで得票率を予測する回帰式をつくったところ、現職側の党のVE獲得率をE, 実際の得票率をVとして、V=41.0 + 17.1E。決定係数0.66。[←おおおお... 結構すごいな]
さて、1998年から2012年までの7つの大統領選、投票日前100日間に注目し、VE、世論調査(単独、結合、結合してprojection)、予測市場(IEMの終値)、専門家予測、著者らの定量モデルについて、ヒット率、ならびに得票率予測のMAEを比較する。結果：一番成績がよかったのは... VEでした!!
考察。
過去30年間、我々は選挙予測の精度向上を目指して頑張ってきたよね。世論調査の結合とか、projectionとか、定量的モデリングとか、予測市場とか。でも意外や意外、長く忘れられてきたVEの成績が一番よかったわけだ。
2012年の選挙でいえば、最終的な結果(オバマが4ポイント差で勝利)を安定的に予測していたのはVIよりVEのほうだった。ネイト・シルバーのFiveThirtyEight.comの日次予測と比べても、VEのほうがかなり精度が高かった。
VEはなぜ注目されないのか。(1)その正確さが知られていないから。(2)オッカムの剃刀とは逆に、人は複雑な解決策を信じるから。ネイト・シルバーが好かれる理由もそこにある。(3)VEは安定しすぎていてニュース価値が低いから。「ジャーナリストが競馬的メンタリティから脱却し、vote expectation調査に注意を向けるようになれば、候補者のパフォーマンスやその政策について説明するのに集中できるだろうに、そして有権者は本当は誰が有利なのかをより正しく知ることができるだろうに」。
自分の仕事とあまりに近すぎるので、感想は省略するけど... とにかく、地道に探していれば、求めていた情報が、こうして不意に目の前に現れることがあるのだ。
論文：予測市場 - 読了：Graefe(2014) 実はvote expectationが最強の選挙予測だった