« 読了：Suchman & Jordan (1990) インタビューそれは相互作用だ | メイン | 読了：Piazza, Sniderman, & Tetlock (1989) 相互作用的な調査手法 by 政治学者 »
2015年3月 2日 (月)
Schober, M. & Conrad, F.G. (1997) Does Conversational Interviewing Reduce Survey Measurement Error? Public Opinion Quarterly, 61, 576-602.
かつて人類学者L. サッチマンさんが提唱したような柔軟な会話を通じた調査(Suchman & Jordan, 1990)ってのを実際にやるとなにが起きるか、という実証研究。掲載誌からみて批判的であることが予想されますが... さあ戦いの火蓋がいま切られます！ (実況中継風に)
たとえば「あなたはふだん週に何時間働いていますか？」という質問があるとして、9時-5時勤務残業なしの会社員であれば簡単に答えられるけど、たとえばフリーランスのライターさんなら、編集者とランチ食っている時間や、ジョギングしながら考えてる時間はどうなるの、と思う。通常の調査であれば、とにかく全員に同じワーディングを提示し解釈は対象者に任せる。いっぽうサッチマンさんの提案では、ここでインタビュアーは質問紙作成者の真意に基づき、会話を通じて、「働いている」という言葉についての対象者の理解を助けようとするわけだ。
著者らはこのライターさんのような状況を「マッピングの複雑化」と呼ぶ。「働いている」という言葉の調査主体側の定義と、対象者による理解とのマッピングが複雑化している、という意味。
著者らの仮説は次の通り。マッピングが複雑化していない場合は通常のやり方が正確、複雑化している場合にはサッチマンさん流のやり方が正確。
被験者は新聞広告で集めた43人、標準化群と柔軟群に割り付ける。インタビュアーは米センサス局のプロ22人、こちらも2群に割り付ける。
インタビュアーは90分かけてばっちりトレーニング。標準化群は米商務省のマニュアルに従う。質問を適宜繰り返したり、非指示的なプローブを出したりするのはいいけど、概念の定義のような追加情報を与えてはならない。柔軟群は質問に答えたり、被験者が質問の意味を誤解していると思ったら訂正したり、質問を適当に言い換えたりする。
被験者に会場に来てもらい、まずは架空のシナリオを与える。測定の正確性を手法間で比べるために、まずは「正解」がわかっている状況をつくるわけだ。どんなシナリオが与えられているかをインタビュアーは知らないし、あるインタビュアーが担当する二人の被験者にはちがうシナリオが与えられている。シナリオには、主人公の(1)住居、(2)仕事、(3)購買、についての情報(質問の「正解」)が含まれている。
質問は12問、住環境、労働環境、購買行動について各4問。いずれも実際の公的調査で用いられているもの。質問文のなかのことばの定義は調査主体によって厳密に定義されている(たとえば、自宅に寝室がいくつかあるかという質問では、「寝室」とはなにかが細かく定義されている)。ただし、この実験では自分についてではなく、シナリオ中の登場人物について訊く。質問順は群間でカウンターバランス。
さて、被験者に与えられる「正解」は質問ごとに次の2つがある。ひとつは単純マッピング。たとえば家具の購買についての質問のために、シナリオ中にテーブルの領収書が含まれている。もうひとつは複雑マッピング。フロアランプの領収書が含まれている[←はっはっは、確かに家具かどうか微妙ですね]。「正解」は質問ごとに操作し、ある被験者に対するある質問領域の4問の「正解」が、2問は単純マッピング、2問は複雑マッピングになるようにする。被験者の立場になってみれば、12問中6問はちょっと回答に困るものになっているわけだ。
準備ができたら、部屋にインタビュアーから電話がかかってくる。被験者は調査回答中に手元のシナリオをみてよい。
結果。
インタビューの逐語録(インタビュアーによる記録とほぼ一致)は、単純マッピングではどちらのインタビュアーも「正解」をほぼ再現。複雑マッピングでは、標準インタビュアーは再現率28%、柔軟インタビュアーは87%。つまり「正解」を正しく調べるという意味では柔軟なインタビューのほうが優れている。とはいえ、柔軟群のほうがインタビュアー間のばらつきが大きくなるという可能性もある(この実験デザインではインタビュアーあたりの被験者数が2しかないから、はっきりしたことがいえない)。
インタビュー時間は柔軟なほうが長くなる(中央値は標準で3.4分、柔軟は11.5分。いやーそりゃ大変だわ)。とはいえ、柔軟群のインタビュアーは慣れてなかったんじゃないですか、とのこと。
そのほか、やり取りの中身についていろいろ調べているけど、省略。
考察。(1)マッピングの複雑さは測定誤差のひとつの源だ。(2)インタビュー手法の適切さは状況によって異なる。
というわけで、コストとのトレードオフはあるものの、意外にも柔軟なインタビューを支持する結果であった。
もっとも、この実験のインタビュアーはおそらく相当レベルの高いプロ揃いで、だから柔軟なインタビューもうまくこなせたのかもね、という疑念はあるなあ...。それに、サッチマンさんのような立場の人が、この実験でいう「柔軟なインタビュー」を十分に柔軟だと捉えるかどうかもよくわからない。私のいっている相互作用性ってのはね！こんな皮相的なレベルの話じゃないのよ！！なあんて怒り出したりしてね。はっはっは。
論文：調査方法論 - 読了：Schober & Conrad (1997) 調査対象者と会話しちゃうインタビュアーは正確な調査結果を得ることができるか