「調査におけるX件法評定項目の回答はXによってどう変わるか」研究リスト

　仕事の関連で、調査でX件法評定項目を使う際、5件法にしようか7件法にしようか…といったことが問題になる場合がある。ありふれた問いだが、ちょっと答えようのない問いでもある。その道の経験者(ないし経験者を自負する人)は、それぞれに俺セオリーを心に抱いているものだが(例, 「私が思うに日本人にはX件法が向いていると思うんです」)、いずれもその人の逸話的な経験によるものであって(いったい日本人を誰とどう比較したのだろう？)、たいがいあてにならないと思った方がよい。
　調べてみると、この問題については実証研究が腐るほどある。しかし得られている結果はてんでんばらばらで、どう捉えたらよいのかよくわからない。エビデンスに基づく意思決定というのは、実際にはなかなか難しいもんですね。

　そういうわけで、あんまり関心の湧かないトピックではあるんだけど、いったいどんな研究があるのか集めてみた。たった3本の論文から、先行研究が50件以上集まった。やれやれ。

　たとえば最初の項目は、Preston & Colman (2000) がSymond(1924)を「評定者間信頼性が最大化されるのは7件法だ」という研究として引用している、ということを指す。
　なお、件数(評定尺度の回答カテゴリ数)についての研究に絞る。件数そのものではなく、中央に「どちらともいえない」といったカテゴリを置くべきかどうかという点に注目する研究もあるんだけど、きりがないので省略する。ほんとにね、もうね、世の中わかんないことだらけですよ。

  • Symond(1924 J.Exp.Psy): [PC] 評定者間信頼性が最大化されるのは7件
  • Champney & Marshall (1939 J.App.Psy.): [PC] 評定者間信頼性。7件よりもっと増やせ
  • Ghiselli(1939 J.App.Psy.): [KF]2件より4件のほうが完了率が高い
  • Remmers &ampl Ewart(1941 J.Edu.Psy.): [PC]7件より5件で信頼性が高い
  • Bendig(1953 J.App.Psy.): [PC]再検査信頼性は変わらないが、評定者間信頼性は11件から少し下がる
  • Bendig & Hughes (1953 JEP): [KF]個人内・個人間変動の研究。7-9件くらいまで増やした方が良い
  • Bendig(1954 J.App.Psych.): [KF]両極・単極。信頼性と件数の間に関連性なし; 個人内・個人間変動の研究。7-9件くらいまで増やした方が良い; [Felix]件数と信頼性は関係ない; [PC]再検査信頼性は変わらないが、評定者間信頼性は11件から少し下がる
  • Garner(1960 Psych.Rev.): [KF]個人内・個人間変動の研究。7-9件くらいまで増やした方が良い; [PC] 20件以上のときに情報が最大になる
  • Peabody(1962 Psy.Rev.): [PC] 件数と信頼性はあまり関連しない
  • Komorita(1963 J.Soc.Psy.): [PC] 段階数と信頼性はあまり関連しない
  • Komorita & Graham (1965 Edu.Psych.Measurement): [KF]両極。2件より6件で信頼性が高い; [Felix]件数と信頼性は関係ない
  • Nunnally(1967 書籍): [PC] 7件で信頼性が高い
  • Jones(1968): [PC]回答者の選好。2件と7件を比較。2件は答えやすいがあいまいなので7件が好まれる
  • Green & Rao (1970 J.Mktg.): [KF] シミュレーションによる妥当性研究。7件まで増やした方がよい; [Felix]5-7件くらいが信頼性が高い; [PC] 6-7件で得られる情報が最大になる
  • McCrae (1970 Perceptual Psychophysics): [KF]個人内・個人間変動の研究。7-9件くらいまで増やした方が良い
  • McCrae (1970 Psych.Bull.): [KF]個人内・個人間変動の研究。7-9件くらいまで増やした方が良い
  • Jacoby & Matell (1971 JMR): [KF]単極。縦断での信頼性。3～19件を調べた。7-8件が良い; [Felix]件数と信頼性は関係ない
  • Matell & Jacoby (1971 Edu.Psych.Measurement): [KF]単極。信頼性と件数の間に関連性なし; 相関による妥当性研究。7～8件で妥当性が高い; [Felix]件数と信頼性は関係ない; [PC]件数と信頼性・妥当性は関係ない
  • Finn (1972 Edu.Psy.Measurement): [Felix]5-7件くらいが信頼性が高い; [PC]信頼性。7件が良い
  • Lehmann & Hulbert (1972 JMR): [KF] シミュレーションによる妥当性研究
  • Mattel & Jacoby (1972 J.App.Psych.): [KF]4～19件のあいだで、使用件数はあまりかわらない。7件より増やしても情報は増えない; 13件あたりよりも増やすと時間がかかるようになる
  • Martin (1973 JMR): [KF] シミュレーションによる妥当性研究
  • Ramsay (1973 Psychometrika): [KF] シミュレーションによる妥当性研究
  • Masters(1974 J.Edu.Measurement): [KF]両極。2～7件を調べた。4件の信頼性が高い; [Felix] 得点の変動が小さい場合は件数を増やすと信頼性が高くなる
  • Lissitz & Green(1975 J.App.Psy.): [PC]7件より5件で信頼性が高い
  • Schutz & Rucker (1975 Edu.Psy.Measurement): [PC] 件数は回答にたいして影響しない
  • Jenkins & Taber(1977 J.App.Psy.): [PC]7件より5件で信頼性が高い
  • Martin (1978 JMR): [KF] シミュレーションによる妥当性研究
  • McKelvie (1978 BritishJ.Psych.): [KF]単極。7,11件より5件の信頼性が高い; [Felix]件数5-7くらいが信頼性が高い; [PC]7件より5件で信頼性が高い
  • Remington, Tyrer, Newson-Smith, & Cicchetti(1979 Psy.Medicine): [PC] 件数と信頼性はあまり関連しない
  • Cox(1980 JMR): [PC]レビュー. 7件がよく使われている
  • Boote(1981 J.Adv.): [PC] 件数と信頼性はあまり関連しない
  • Aiken (1983 Edu.Psy.Measurement): [Felix]件数と信頼性は関係ない
  • Churchill & Peter (1984 JMR): [Felix]件数が多い方が信頼性が高い
  • Cicchetti, Showalter, & Tyrer(1985 App.Psy.Measurement): [PC] 評定者間信頼性は2件から7件までは増えていきあとは変わらない
  • Smith & Peterson (1985 Conf.): [KF]相関による妥当性研究; 3～7件で完了率に差なし
  • Peterson (1985 Report): [KF]単極。信頼性と件数の間に関連性なし
  • Birkett(1986 Conf.): [KF]両極。2,6,14件を調べた。6件の信頼性が高い; [Felix]件数5-7くらいが信頼性が高い
  • Peter & Churchill(1986 JMR): [Felix]メタ分析。件数と妥当性は関係ない
  • Rosenston et al.(1986 POQ) [KF]3件より5件のほうが予測的妥当性が高い
  • Loken,Pirie,Virnig,Hinkle,&amplSalmon(1987 J.MarketRes.Soc.): [PC]基準関連妥当性。3,4件より11件がよい
  • Watson (1988 JPSP): [KF]単極。2件より4件の信頼性が高い
  • Wedell & Parducci (1988 JPSP): [KF]文脈の効果. 7件くらいまで増やした方がよい
  • Oaster(1989 PMS): [PC] 再検査信頼性と項目間一致性。Cicchetti et al.(1985)と似た結果
  • Wedell et al.(1990 JPSP): [KF]文脈の効果. 7件くらいまで増やした方がよい
  • Alwin & Krosnick (1991 Sociol.Method&Res.): [KF]両極。縦断での信頼性。7,9件がそれ未満よりも信頼性が高い
  • Brown, Wilding, & Coulter (1991 J.Acad.MktgSci): [PC] 件数と信頼性はあまり関連しない
  • Hancock & Klockars(1991 Applied Ergonomics): [PC]基準関連妥当性。5件より7件がよい
  • Chang(1994 App.Psy.Measurement): [Felix]手法分散を取り除くと6件より4件の信頼性が高い; [PC]MMTMによる信頼性研究。6件より4件が良い; 基準関連妥当性は4件と6件で変わらないが、収束的妥当性は6件で高い
  • Bandalos & Enders (1996 App.Measurement in Edu.): [Felix]5-7件くらいが信頼性が高い
  • [KC] Krosnick & Fabrigar (1997 Chap.) レビュー
  • [PC] Preston & Colman (2000 ActaPsy.): [Felix] 5-7件くらいが信頼性が高い
  • Dawes (2008 IJMR): [Felix] 異なる件数の項目の(変換後の)平均とSDを比較。あまり変わらない
  • Consractor & Fox (2011 J.Targeting,Measurement&Anal.Mktg.) [Felix] 平均の敏感性は5-6件くらいで高い
  • [Felix] Felix(2011 J.Targeting,Measurement&Anal.Mktg.): 件数を増やしても信頼性・妥当性は変わらない