« 読了: Hekkert (2006) デザインにおける美的経験とはなにか | メイン | 読了：「私がモテないのはどう考えてもお前らが悪い」「いつかティファニーで朝食を」「テラフォーマーズ」「聖☆おにいさん」 »
2013年8月25日 (日)
Zwane, A.P., et al. (2011) Being surveyed can change later behavior and related parameter estimates. PNAS, 108(5), 1821-1826.
質問-行動リンクのフィールド実験研究。14名の共著で、所属先は経済学系と公衆衛生系の名前が多い。第一著者の所属はゲイツ財団で、面食らったが、本文を読んでなるほどと納得。
えーっと、冒頭の整理によれば、survey/interview がその後の行動に影響するという現象のうち、「質問-行動効果」(単純測定効果, 自己充足的予言)は、未来の行動の意図ないし見込みについて質問することがその後の行動を変えることを指す。「ホーソン効果」は、実験場面での処置・観察に対する反応の結果として行動が変わること。良く似た概念として、設問文の操作で対象者の行動に影響を与えようという企み(push polling)がある。なるほど。
でもって、実験は5つ。すべて開発途上地域のフィールド実験で、サンプリングや実査やら、どれもこれもすごく大変そう(すべて訪問調査らしい)。実験2-4の従属変数は自己報告ではなく、企業側の契約データである。
実験1. ケニアには家庭の飲み水を塩素消毒するWaterGuardというサービスがあるそうだ。料金は月0.3ドルで、農業の日給の1/4くらい。さて、ケニアの330世帯を抽出。ランダムに2群にわけ、一方は隔週・全18回の調査対象とし、他方は半年ごと・全3回の調査対象とする。対象者には測定器を渡して、飲み水に塩素が入っているか測ってもらう。対象者はその結果から我が家のWaterGuardの使用有無がわかるのだということを知っている。だからこの状況は、単なるsurvey effectを引き起こす状況であるだけでなく、特にホーソン効果を引き起こす状況であるわけだ。
結果: 隔週群のほうが、報告された子どもの下痢の発生率(発生回数かな? よくわからない) が少なく、塩素が含まれている率(量かな?)が高い。これはまあホーソン効果だと解釈できるけど、興味深いのはここから。子どもの下痢を従属変数にし、独立変数に調査頻度と水質管理(別の事情で操作している)をいれると、調査頻度と水質の交互作用が有意になる。つまり、調査頻度によって水質の効果の推定値が変わってしまうわけだ。おー、なるほど、これは深刻な話かも。
実験2. フィリピンの地域銀行の入院・自動車保険加入者を対象者にする。ランダムに2群にわけ、一方の群に調査を行う。すごく長い調査票のなかに、6問だけ保険関連の項目がある。保険購入の意向は聴いていない。銀行については触れないし(そんなことが可能なのか。銀行のリストをつかっているのに)、あとで営業があることに触れない。なお、もともとこれは保険加入者の価格感受性についての調査だったので、掛け金があらかじめ実験的にランダム割り当てされている(??? なんだそれは？)。従属変数はその後の保険金請求。
結果: 掛け金の効果のみ有意。調査の有無は効かない。
実験3. 同じくフィリピンで、実験2と同じ銀行と組んで、同じような実験。ただし、今度は保険商品が異なり、また掛け金の操作がない。
結果: 今度は調査の有無が効く(調査された群は保険金を請求しやすい)。実験2とプールしても有意。
実験4: モロッコの地方部で、ある大手マイクロファイナンス組織が提供するローン商品のtake-upに注目する(恥ずかしながらよく理解できない。融資を申し込むことだろうか)。対象者をランダムに2群に分け、一方の群に調査を行う。すごく長い調査票で、うち15%くらいがクレジットの話。なかにちょっと意向を聞いている項目もある。
結果: 調査の有無の効果なし。
実験5: インドの地方部で、あるマイクロファイナンスの契約更新に注目。対象者をランダムに2群に分け、一方の群に調査を行う。すごく長い調査票のうち一部がクレジットの話。意向や見込みは聞かない。
結果: 調査の有無の効果なし。
というわけで、調査はその後の行動を変容させる可能性があるから、リサーチャーはベースライン調査をやることのバイアスとメリットを秤にかける必要がある、という実務的指摘のが最大のポイント。
とはいえ、ちゃんと心的基盤にも言及があって... 単純測定効果や自己充足的予言の研究では、注目している行動への事前の態度や経験が調査の効果のモデレータになると指摘されている(と、ここでMorwitz, Johnson, Shmittlein, 1993, JCR; Levav & Fitzsimons, 2006, Psy.Sci.を引用)。いっぽう本研究では、実験1ではそういうのはみつからなかったけど、これの実験では、調査の反復実施がWaterGuide使用のリマインダになったのだろう。いっぽう残りの実験はもっと「システム I 」な感じで、うち実験2-3は概して無関心・無経験、実験5は関心・経験ともありだったから、そのせいで有意差が出たり出なかったりしたんじゃないか。云々。
おそらくは他の目的のために走ったフィールド実験の副産物をつなぎ合わせた研究であるから、きれいな結果ではないのだが(実験2では有意差ないのに、実験3とプールして語るという強引さ)、とても面白かった。頭が下がります。
先行研究概観や考察のところも、ちょっと気がつかない視点があって、勉強になった。恥ずかしながら、質問-行動リンクとホーソン効果を結びつけて考えたことはなかった。
最後にいろいろ疑問を投げかけっぱなしで終わっている論文なのだが、調査の効果の関連領域(プライミングとか説得とか)として、Chartrand et al.(2008, JCR), Sela & Shiv (2009, JCR), Bertrand, et al.(2010, Q.J.Econ.)が挙げられている。順に、目標、プライミング、広告の話らしい。また、目標形成に関してBargh et al.(2001, JPSP), Webb & Sheeran (2006, Psy.Bull.), バイアスの統計的除去についてMcFadden et al.(2005, Mark. Lett.), Chandon et al.(2005, J.Mark.)をみよとのこと。最初の2件はたぶん実行意図の話、最後のは単純測定効果の話だが、3番目のはなんだかわからない。やれやれ、意外に大きな話だなあ。
論文：調査方法論 - 読了: Zwane et al.(2011) 公衆衛生に対する水質管理の効果が、調査のせいでわからなくなった