読書日記

« 読了：Witkowski & Parkes (2012) ベイジアン自白剤 for 少人数 | メイン | 読了: Barrage, & Lee (2010) ベイジアン自白剤 for 支払意思額聴取 »

2014年5月 2日 (金)

John, L.K., Lowenstein, G., Prelec, D. (2012) Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23(5), 524-532.
　Prelec先生、ベイジアン自白剤を引っ提げて各領域を荒らしまわるの巻。今回の舞台は心理学だ！ なんだか昔のTVシリーズ「特攻野郎Aチーム」みたいだな。懐かしいなあ。
　今回のお題はこうだ。世間では研究者による捏造が注目を集めているが、その一歩手前のグレーゾーンもなかなか深刻です。たとえば、ちょっと都合の悪いデータを数件、後付けの理由をつけて除外しちゃう、とか。以下、そういう行為をQRP (questionable research practices) と呼ぶ。心理学者にアンケートして、どのくらいQRPに手を染めているか訊いてみましよう。正直に答えそうにないって？ 大丈夫！そこでベイジアン自白剤ですよ！

　USの心理学者5964名に電子メールで調査参加を依頼、2155名から回収。回答は匿名で行う。項目は以下の通り。

• 10種類のQRPを提示、それぞれについて以下を聴取。
  1. それに個人的に関与したことがあるか。(告白)
  2. 他の心理学者のうち何パーセントがそれに関与していると思うか。(普及率評定)
  3. それに関与した心理学者のうち何パーセントがそれを認めると思うか。(告白率評定)
  4. 最初の設問にyesと答えた場合は、それが擁護可能だと思うかを聴取 (no, possibly, yes)。
• 「他の機関の心理学者」「自分の機関の他の心理学者」「院生」「自分たちの共同研究者」「自分たち」について、研究の真正性に対する疑いの程度を評定させる (never, once or twice, occasionally, often)。

各回答者の各QRPに対する告白有無と普及率評定から、御存知ベイジアン自白剤スコアを算出できる。この論文の説明だけではなんのことだかさっぱりわからないと思うんだけど、えーと、告白と普及率評定を回答するたびにスコアが付与される仕組みで、そのスコアは、それを最大化するためには正直かつ真剣に答えるしかないという不思議な性質を持っているのでございます。
　インセンティブを被験者間で操作する。

• 自白剤群。5つの寄付プログラムのなかからお好きなものをお選びください。我々があなたに代わって寄付します。その額はあなたのベイジアン自白剤スコアによって決めます。ベイジアン自白剤というのはですね、正直に答えないと損をする仕組みになっていて、サイエンスに論文が載っているですよ(と、論文へのリンクを示す。理屈は説明しない)。なお、この教示は嘘ではなく、ほんとに寄付した由。
• 統制群。あなたに代わって寄付します、とだけ教示。

　結果。

• 告白率がもっとも高かったQRPは「論文で、ある研究の従属変数のすべてを報告しなかったことがある」(統制群で63%)、一番低かったのは「データを偽造したことがある」(0.6%)だったそうである。ちょっと笑っちゃったのが、「論文で、p値が.054だったときに.05にしちゃうという風にp値を丸めたことがある」(22%)。いかにもありそうな話だ...
• 告白者の擁護可能性評定は総じて高く、告白率が高いQRPで特に高くなる。
• 自白剤群のほうが告白率が高い。特に告白率が低いシビアなQRPで差が大きい。
• QRPに対する3つの設問を比較すると、告白率、普及率評定、告白率評定の順に低い。まあ、そうでしょうね。
• あるQRPを告白する人は他のQRPも告白していることが多い。
• 研究の真正性に対する疑いは、当然ながら自分や共同研究者に対しては低い。いっぽう、自分の機関の研究者に対する「疑ったことはない」回答率は4割を下回る。他の機関の研究者に対しては約1割。
• 設問のワーディングの影響もあるんじゃないか、というので別の小さな調査も紹介している。省略。
• 告白率は認知心理、神経科学、社会心理で高く、臨床で低い。また、実験研究者で高くフィールド研究者で低い。もっとも、分野によっては縁のなさそうなQRPもあるわけで、別の調査で分野との関係を尋ねたりしている。省略。

　というわけで、QRPはとても一般的です。研究に再現性がないといわれるのももっともですね。云々。

　この論文には、アメリカの心理学における研究不正についての実態調査という記述的な意義と、ベイジアン自白剤という真実申告メカニズムの適用という方法論的な意義があると思う。でも自白剤群では対象者にベイジアン自白剤の理屈を説明しているわけではないし、スコアのフィードバックもしていないのだから、自白剤群と統制群との差は、要するに「偉い学者が考えたすごい方法であなたの正直さがわかっちゃうんですよ」という教示の効果に過ぎない。だから、後者のほうの意義は怪しいと思う。この論文の本旨ではないのかもしれないけど、失礼ながら、なにやってんすか先生、という気持ちで一杯である。
　せっかく数千人の専門家から回答を集めるんだから、メール調査じゃなくてweb調査にして、Weaver & Prelec (2013) の実験2みたいに、各QRPについて回答するたびに自白剤スコアがフィードバックされる条件をつくれば、もっと面白かったのになあ...

論文：予測市場 - 読了: John, Lowenstein, & Prelec (2012) 心理学者にベイジアン自白剤を飲ませたら