« 読了：Trajman & Luiz (2008) 二つの診断基準の敏感度と特異度をMcNemar検定で比較する | メイン | 読了：Sandroni & Shmaya (2013) 当たり外れがプロパー・スコアリング・ルールで決まるクジを報酬とせよ、さすれば参加者のリスク選好がどうであれ君は真実申告メカニズムを得るだろう »
2018年5月 2日 (水)
Jennings, W., Wlezien, C. (2018) Election polling errors across time and space. Nature Human Behavior.
ネットで話題になってたので目を通してみた。NatureとかScienceとかの記事って、構成が普通の論文と違ってて、ちょっと読みにくいんですよね...
いわく。
2015年UK総選挙、2016年US大統領選挙をみるにつけ、選挙調査は誤差が増大しているのではないか、危機にあるのではないか...という声が高まっている[←ネイト・シルバーのブログ記事やNYTの記事がreferされている]。ほんとうだろうか。
1942年から2017年までの45ヶ国の国政選挙351件について分析する(地方選や国民投票は対象外。うち日本が5件)。分析対象となる調査は実に30916件。そういうすごいデータベースがあるのです(Harvard Dataverse)。
分析に使用するのは、各調査における候補ないし政党への投票意向の数値である(DKと回答拒否を除いたシェア)。各調査における実査日を特定しておく(複数日にまたがる場合には中央とする)。各選挙について、候補・政党への投票シェアを調べておく。
目的変数は投票-調査間の絶対誤差。必要に応じ、投票-調査間の対数オッズ比とか、首位2つの合計の間での絶対誤差とかも調べる。
- 調査の誤差は選挙キャンペーン中にどう変わるか。横軸に「投票日の何日前か」、縦軸に絶対誤差の平均をとった曲線をみると、投票日が近づくにつれ0に近づき、分散も小さくなる。大統領選挙より議員選挙のほうが誤差が小さい。
- 投票前最終週の調査の誤差は年とともにどう変わったか。いろいろやってみたけど[省略]、通説に反し、誤差は大きくなっていない。
- 調査の正確性に選挙の文脈はどのように影響するか。重回帰してみると、誤差は議員選挙より大統領選で大きく、比例代表制より一人区で大きく、大政党で大きい(これは標本抽出理論で説明できる)。ここでも年は効いてない。
考察するに、回収率は下がり、調査モード・抽出・ウェイティングはますます多様になったけど、そのせいで選挙前調査のパフォーマンスは下がってはいない。おそらく、異なる調査が結合されているせいでキャンセルアウトされたのだろう(実際、誤差の調査間分散は大きくなっている模様)。
本研究の限界：誤差に影響する要因は他にもあろう(調査結果公表に禁止期間を設けている国があるとか、制度変更とか、有権者それ自体のボラタリティとか、調査モードとか)。
というわけで、調査機関はさまざまな難題に直面しているけれど、選挙調査の正確性が危機にあるとはいえない。
選挙調査は大きくはずれることもあるだろう、注目を集めることもあるだろう。しかあし！それは方法論的反省、イノベーション、そして改善を導きうるのだっ。
云々。
論文：調査方法論 - 読了：Jennings & Wlezien. (2018) 世界の選挙調査は危機にあるか？→意外にそうでもない