Andreadis, I., Kartsounidou, E. (2020) The Impact of Splitting a Long Online Questionnaire on Data Quality. Survey Research Methods, 14(1), 31-42.

　仕事の調べものをしていて見かけ、要旨をざっとみて、あ、これは今探してるやつじゃないな… とわかっていたのだけど、面白いんでついつい全部めくっちゃった奴。
　著者らはギリシャの大学にお勤め。掲載誌はIF 0.9… シブイ…

　[最初に、質問紙が長いと良くないよね、特にモバイル時代は困るよね、という話があって…]
　というわけで、質問紙を分割したい。どうにか分割したとして(分割後の各部分をサブ質問紙と呼ぶ)、そこから先の方法には2つある。
　その１、matrixデザインとかサンプリングデザインとか分割質問紙デザインとか呼ばれている奴。標本を群分けしてそれぞれ異なるサブ質問紙に答えさせる。Adiguzel & Wedel(2008 J.Mktg.Res.), Herzog & Bachman(1981 POQ), Raghunathan & Gizzle (1995 JASA)をみよ。
　その２、結局は一人に全部答えさせるんだけど、サブ質問紙にひとつ回答したらいったん終わりということにして、続きのサブ質問紙にも答えてくださいますかと訊く。先行研究にGalesic & Bosnjak (2009 POQ)というのがある。[なんと、このGalesicってcitizen forecastingみたいな研究してるサンタフェ研究所のMirta Galesicだ… そしていまはじめて気が付いたんだけど、昔々Tourangeauたちと調査回答の認知過程の研究してたGalesicと同一人物だ… うっわあ… ]
　本研究ではGalesic & Bosnjakと似た手続きをとるんだけど、サブ質問紙の区切りで長い休みをとってもよいことにする。そうすると回答率と回答品質があがるか？ というのが本研究の目的である。

　先行研究と仮説。
　質問紙の長さと反応率の関係について。[ここでいう反応率ってのは質問紙全体の完了率のことね。先行する実証研究が紹介されているけどメモ省略…] というわけで、
　H1. 長い質問紙を分割することによって反応率は上がる。[最初のパートを完了して残りの調査参加は断る人も出てくるけれど、それでも全体の完了率は上がるでしょうという仮説である]
　質問紙の長さと回答品質について。[…以下、いちいち研究紹介がついているけどメモ省略…] というわけで、
　H2a. 質問紙分割によって項目無回答が減る。
　H2b. 長い質問紙では態度項目で中央回答が増える。
　H2c. 長い質問紙では回答時間が短い人が増える。
　H2d. 質問紙分割によってグリッド設問で直線回答する人が減る。
　H2e. 質問紙分割によって自由回答への記述が長くなる。

　2015年のギリシャ議会選挙のあとでweb調査をやった。目標母集団は5つの政党の候補たち(メールアドレスを公開してない政党もあるから)。頑張って調べ、全員のメールアドレスを突き止めた。1090名。
　議員候補の調査についてはThe Comparative Candidates Survey (CCS)という国際プロジェクトがあって、その共通質問紙を使う。6個のテーマがあり、回答完了まで約50分かかる。
　対象者をランダムに2群に分ける。群Aには質問紙全体を提示。85問、1画面で1問。群Bにはまず9問だけ回答してもらい、あとで完了者にもう一度invitationを送る。2回目は76問。

　結果。
　そもそも最初のinvitationメールのURLをクリックしてくれたのは半数程度であった[←ちょっと笑っちゃいました]。クリックしたけどなにも回答しなかったのが1割くらい。
　そこから先の脱落は、群Aで8%くらい、群Bで4%くらいなんだけど、面白いのは、群Aでは脱落のうち最初の5ページで起きたのが25%、群Bでは90%。つまり群Aでは動機づけの低さというより疲労による脱落が多い。
　完了者は、群Aでは全体の35%くらい、群Bでは全体の21%くらい。[おおっと、H1支持されないじゃん！ 意外な展開だ。脚注によれば、群Bに後半調査のinvitationを送った直後にギリシャ危機が深刻化しEU離脱の危険にさらされ、国民投票をやることになり社会全体が二分された由。運がめちゃくちゃ悪かったのよという言い分である]
　[H2a-H2eの検討がひとしきり続くが、一言でいうとごくわずかに支持って感じ。Bでは中央回答は減り自由記述は長くなったそうな。メモ省略]
　
　考察。
　群Aの完了率より群Bの前半の完了率のほうが全然高い。その意味では質問紙分割の効果を示せた。[←いや！それはそうでしょうよ！！85問の調査より9問の調査のほうが完了率は高いでしょうよ！！！]
　全体を通して見ると群Bのほうが完了率が低くなった。考えられる理由: (1)後半調査のinvitaitonの時期が悪かった。(2)前半と後半の間に時間をあけすぎた。(3)後半調査が長すぎた。[←ここほんとに声を上げて笑っちゃった… それ実査する前から目に見えてたでしょうに…]
　というわけで、web調査実務家のみなさん、質問紙分割についてもっと研究しましょう。云々。

　… 細部は適当に読み飛ばしつつ楽しく読了。いっちゃなんだが実験としてはかなり無惨な失敗という感じなんだけど(失礼をお許しください)、でも貴重なフィールド実験だし、こういうのをちゃんと論文化できるって良いことですよね。
　不思議なんだけど、そもそも選挙後の候補者にweb調査への回答を依頼するメールを出したとして、それに回答しているのは誰なんだろうか？ 日本の感覚でいうと、きっと秘書ですよね？ その場合、回答そのものが業務の一環であって、途中脱落って仕事をさぼってることにならない？ というわけで、この結果、果たして調査法研究としてどこまで一般化していいのかよくわからないんだけど… もしかするとギリシャでは候補者がちゃんと答えてくれるのかもしれない。
　まあこの研究の結果はともかくとして、長い質問紙だったらいっそ調査を2ウェーブの縦断調査に分けたほうが、完了率はむしろ上がっちゃうかもしれない、という発想は興味深いと思った。確かにそういうことはあるかもしれない。でも、ふつうは怖くてなかなか踏み切れないだろうとも思う(「この調査票は長すぎるので、まず前半部分だけ調査して、完了した対象者に後半の調査のinvitationを送りましょう」と提案するリサーチャーがいたら… それはかなり驚くね)。調査を分けたら完了率が下がるのか上がるのか、判断の手がかりがほしいところである。