読了：Enamorad & Imai (2019) 選挙調査における自己報告ベースの投票率が実際の投票率より高いのはなぜか

Enamorado, T., Imai, K. (2019) Validating self-reported turnout by linking public opinion surveys with administrative records. Public Opinion Quarterly, 83(4), 723-748.

仕事の都合で読んだ奴。サーヴェイ調査データを実行動記録とリンクさせ、調査結果のバイアスがなぜ起きているのかを突き止める、という話である。第二著者は日本人の若手政治学者として著名な人。

イントロダクション
　調査で調べる自己報告投票率は実際の投票率より常に大きい。社会的望ましさバイアスだとか、無回答バイアスだとか、いろんな説がある。[…先行研究の紹介…]
　本論文は2016年米大統領選(トランプが勝った奴)の自己報告投票率の妥当性を検討する。使う調査データは:

  • American National Election Studies(ANES)。大統領選ごとに実施。対面とネット。
  • Cooperative Congressinal Election Study(CCES)。選挙ごとに実施。ネット。

幸い2002年のHelp America Vote法により、各州は投票登録者リストをつくってるので、それと突き合わせる。それもオープンなアルゴリズムで(著者らが開発したRのfastLinkパッケージ)。本研究は、我々の知る限り、政治学における、確率的記録リンケージの性能についての大規模管理記録を用いた初の実証研究であります。

　記録リンケージについての先行研究:

  • Fellegi & Sunter(1969 JASA): 確率的記録リンケージを提案
  • Enamorado, Fifield, & Imai(2019 Am.Polit.Sci.Rev.): 確率的記録リンケージの改善手法を提案
  • Lahiri & Larsen(2005 JASA): 確率的記録リンケージについて
  • Winkler (2006 USセンサス局のTech.Paper): 確率的記録リンケージについて
  • Ansolabehere & Hersh (2012 Polit.Anal.): 実証研究。プロプライエンタリなアルゴリズムを使用
  • Jackman & Spahn (2019 Polit.Anal.): 実証研究。プロプライエンタリなアルゴリズムを使用
  • Berent, Krosnick, & Lupia (2016 POQ): 決定論的記録リンケージについて

　本研究の結果を先に書いておくと、

  • ANESをfastLinkで投票登録者リストにリンクしさらに目検でチェックすれば(clerical review)、その人たちの実投票率は、全体の投票率に近くなる。
  • CCCSをfastLinkで投票登録者リストにリンクすれば、目検がなくても、その人たちの実投票率は全体の投票率に近い。CCESの住所には欠損とノイズが多いため、目検でチェックするとむしろfalse nagativeが沢山出ちゃって、その人たちの実投票率は低めになる。
  • 選挙前調査でも選挙後調査でも実投票率はたいしてかわらない。つまり投票率のバイアスはパネル摩耗のせいじゃない。
  • 実際には非投票である人のうち30-40%は投票したと報告している。これが自己報告ベース投票率のバイアスの原因。
  • バイアスは、富裕層、高学歴、支持政党あり、政治への関心あり、アフリカ系で大きくなる。
  • 確率的記録リンケージはプロプライエンタリなアルゴリズムと遜色ない。

自己報告投票率のバイアス
[リンク前の、各調査ならびに実記録についての紹介。細かい説明は読み飛ばしたし、メモも省略するけど、投票率はANES 76%, CCES 84%, 実記録 58%]

自己報告投票率のバイアス
　ANESは4271人, CCCEは64600人の回答がある。氏名と住所がついている[←へええ]。これを投票記録とリンクする。

  • まず、氏名と住所を全力を尽くして正規化した。[…]
  • ステップ1。州x性をブロックとして投票記録との総当たりマッチングをすると、ブロック内のペア数の中央値は、ANESで1100万ペア、CCESで3億100万ペア。ファーストネーム、ラストネーム、年齢、house name, street names, zipをfastLinkパッケージで照合する。
    　調査側の記録\(i\)と投票側の記録\(j\)の変数\(k\)についての一致を示す変数を\(\gamma_k(i,j)\)とする。文字列については{異なる、似ている、同一}の3値とし(Jaro-Winkler類似性の閾値で定義)、他の変数については2値とする。
    　Fellegi & Sunter (1969)のモデルでは、一致/不一致を表す潜在変数を\(M_{ij}\)として$$ \gamma_k(i,j) | M_{ij} = m \sim_{indep} \mathrm{Discrete}(\pi_{km}) $$ $$ M_{ij} \sim_{iid} \mathrm{Bernoulli}(\lambda) $$ ベクトル\(\pi_{km}\)の長さ\(L_k\)は2か3である。このモデルは、ペア間の独立性、\(M_{ij}\)の下でのフィールドの条件つき独立性、\(M_{ij}\)の下でのMAR、を仮定している。\(\delta_k(i,j)\)を「どっちかが欠損だったら1」となる変数とする。
    　ここから、\(\xi_{ij} = Pr(M_{ij} = 1 | \delta(i,j), \gamma(i,j))\) を推定できる[式は省略するけど、要するにベイズルールである]。で、\(j\)ごとに\(\xi_{ij}\)が最大である\(i\)を探す。複数個見つかったらランダムに選ぶ(幸い複数個みつかることはほとんどなかった)。
  • ステップ2。\(\xi_{ij}\)の\(j\)を通じた最大値が0.75以下であった\(i\)を集めて、こんどは全国でマッチングする。確率が1に近いペアが得られたらそれを採用し、そういうのがなかったらステップ1の結果に戻る。
  • ステップ3。ここまでで得られた\(i, j\)ペアについて、目検で「これは違うな」というのをはじいた。たとえば、年齢が違いすぎるとか。ANESでは9%, CCESでは10%をはじいた。[結構多い… あとで出てくる話だけど、ここで相当なfalse negativeが出ていると考えられている]

調査側からマッチ率をみると、{ANES,CCES}x{選挙前調査,選挙後調査}別にみて59～70%となった。[…]

結果
　以下、マッチ確率を重みとして集計する。[えーっ、そうなの！]
　投票記録にマッチした調査回答者について、調査上の投票率(調査前、調査後)と投票記録上の投票率は、ANESでは58%, 60%, 58%, CCESでは49%, 50%, 57%。CCESではずれているけど、目検の前ならずれが小さい。は目検でfalse negativeが出ちゃったからだと思われる。
　[…頑健性チェック。中略…]

　さて、自己報告における投票率が過大になるのはなぜか。
　誤報告のせいか？ たとえばANESでは、実際に投票した者のほとんどが投票したと回答しているのに対して、実際には投票してない人の31%が投票したと回答している。「投票した」と回答した人の実投票率の低さがバイアスを生んでいるわけだ。なお、Berentらはマッチングできる人だけみれば過大報告は生じていないと考えているが、そうではない。
　パネル摩耗のせいか？ そうではなさそう。[…]

　では、実際には投票してないのに選挙後調査で投票したと回答しちゃうのはどんな人か。個人特性を投入してロジスティック回帰すると…[ここにはあまり関心無いので読み飛ばした]

結論
　[略]
—————
　地味な話ではあるが、面白かったです。要するに、調査上の投票率が過大になるのは、投票しなかった人が調査に協力してないからじゃないよ、投票してないのにしましたという回答者がいるからだよ、ってことですね。

　この論文の主旨とは異なるが、確率抽出だか悉皆だかの実行動記録(共変量つき)と、非確率抽出による調査があって、両者の間にリンケージを張れたなら、(1)実行動記録側で、調査回答を持つかどうかを目的変数とした傾向スコアモデルを作り、(2)調査対象者について傾向スコアを推定して、(3)調査結果を調整することができると思う(…というか、そういう論文なのかと勝手に期待していた)。ここでリンケージが確率的だったときはどうすればいいんだろうか？ 傾向スコアモデルの目的変数はなにになるの？ やはりいったん決定論的にリンケージを定義しないといけないのだろうか、それとももっと気の利いた方法があるのだろうか。