« 読了：「暗殺教室」「すーちゃんの恋」「トラップ・ホール」「まんが親」「イかれポンチ」 | メイン | 読了：Lasen (2005) 携帯電話ユーザを理解する »
2013年3月13日 (水)
Greenleaf, E.A. (1992) Improving rating scale measures by detecting and correcting bias components in some response styles. Journal of Marketing Research, 29(2), 176-88.
x件尺度の調査項目への回答における回答スタイルの影響についての実証研究として、よく引用されているらしき論文。先日用事があって大急ぎでめくった資料のなかの一本。なんだかちょっと腹が立ったので最後まで目を通した。
回答スタイルとして黙従傾向(yea-saying)と個人内SDの大きさに注目。たとえば、ある調査におけるyea-sayer (なんでもyes方向に回答しちゃう人) は、ほんとにすべての項目に対してポジティブな態度を持っている人なのかもしれないし、単にそういう回答バイアスを持っている人なのかもしれない。この二つが分離できないと、なにかと困る。分離してみましょう。という主旨。ただし、仮に回答スタイルの影響を受けない外的基準が手に入っていたら... という、いささか現実味のない状況についての話である。
対象者 i が行動項目 k について示す行動頻度 B_{ik}(これが外的基準)についてのモデルをつくる。態度項目 j への反応を A_{ij}, 反応の個人内平均を M_i, 個人内SDを S_i として、
B_{ik} = \alpha_0
+ \alpha_1 A_{ij}
+ \alpha_2 M_i
+ \alpha_3 (S_i - S_{med})
+ \alpha_4 (S_i - S_{med})(A_{ij} - M_i)
+ \epsilon_{ik}
S_{med}というのは個人内SD S_i の標本中央値。5つ目の交互作用項がわかりにくいけど、以下のような理屈である。話を単純にするために、態度項目と行動項目に正の相関がある場合についてのみ考える。つまり、\alpha_1は正。
- yea-sayingが回答バイアスを含んでいたら、\alpha_2は負になるはずだ(H1)。
- 個人内SDの大きさが回答バイアスを含んでいたら、個人内SDが大きい人が(S_i - S_{med}が大)、その人の平均より高めの回答をしたとき(A_{ij} - M_iが正)、その回答は割り引かなければいけないわけだから、\alpha_4は負になるはずだ(H2)。
さらに、こんなモデルもつくる。態度項目への回答を個人内で標準化したスコア A^*_{ij} = (A_{ij} - M_i) / S_i をつかって、
B_{ik} = \delta_0
+ \delta_1 A^*_{ij}
+ \delta_2 M_i
+ \delta_3 (S_i - S_{med})
+ \delta_4 (S_i - S_{med})(A^*_{ij})
+ \epsilon_{ik}
さっきと同様、\delta_1は正として、
- yea-sayingがその人の態度についての情報をなにがしか含んでいるならば、\delta_2は正になるはずだ(H3)。
- 個人内SDの大きさがの人の態度についての情報をなにがしか含んでいるならば、\delta_4は正になるはずだ(H4)。
うーん、こういう「白じゃなかったらそれは黒だ」的仮説設定はあんまり好きになれないのだが、well-formedではある。
というわけで、アメリカの広告代理店がやった大規模な郵送調査データで検証する。さまざまな6件法態度項目が224項目、いろんな行動の頻度の聴取が127項目はいっていた由。それでいて回収率81%って、どんな調査なんだか...。
まず、態度項目から個人内平均と個人内SDを求める。年齢、性別、年収との関連はあったが、行動項目との相関はなかった由。よかったですね、そこが崩れると、この話、滅茶苦茶になってしまう。
次に、態度項目と行動項目を突合せ、関連が強くて筋もとおっているペアを49個つくって、それぞれのペアに上記の2つのモデルを当てはめOLS推定する。その結果、
- \alpha_1と\alpha_2の符号が逆になった(H1を支持した)のは、21ペア。
- \alpha_1と\alpha_4の符号が逆になった(H2を支持した)のは、43ペア。
- \delta_1と\delta_2の符号が一致した(H3を支持した)のは、38ペア。
- \delta_1と\delta_4の符号が一致した(H4を支持した)のは、39ペア。
まとめていうと、yea-sayingってのはバイアスではない(H1, H3は不支持)、個人内SDは部分的にバイアスだが、それだけじゃない。とのこと。
では、個人内SDに起因するバイアスを除去してみましょう、というので、以下の指標をつくる。
A^{**}_{ij} = w_i A_{ij} + w_2 ( (A_{ij} - M_i) / (S_i / S_{med}) + M_i)
ただし w_1 + w_2 = 1。右辺第二項は、回答を個人内平均に向かって縮小してやった値で、その縮小率は個人内SDとその標本中央値の比で決める、という主旨である。
この指標のw_1を0.25刻みで動かしながら、下のモデルに当てはめたところ
B_{ik} = \gamma_0
+ \gamma_1 A^{**}_{ij}
+ \gamma_2 (S_i - S_{med})
+ \gamma_3 (S_i - S_{med})(A^{**}_{ij} - M_i)
+ \epsilon_{ik}
w_1 = 0.5のとき、R^2が最大になり、\gamma_1と\gamma_3の符号が一致するペアはだいたい半分(28ペア)になった。
よしよしこれで修正できたぞ、というわけで(信じるって素晴らしいなあ)、修正によって生じるインパクトを2例示す。12個の態度項目から2つの主成分を抽出し、対象者を各主成分の上位10%/中位80%/下位10%に分類する分析を、修正前と修正後で比較すると、修正によって上位/下位群から出て行った人と入ってきた人の年齢・教育水準が違う、とか。クラスタ分析だったらどうだったか、とか。このへんは、まあ実務家むけのデモンストレーションのつもりだろう。
著者が想定している回答スタイルは、Baumgartner&Steenkamp(2001) がいうところのARS, ERS, MPRだと思う。なにもそれだけがバイアスの源じゃないだろうと思うが、もともと回答スタイルの実証研究には、問題とする回答スタイルを各研究者が好き勝手に定義しちゃうという悪弊があるものなので、ここでそれをあげつらっても仕方ない。ひとつの横断調査データのなかから態度項目と行動項目のペアを見つけ、ひとたび見つけるやいなや「この行動はこの態度で予測できるはずだ」と信じる、というのも相当強引なアプローチだと思うけど、それもまあいいとしよう。態度から行動を予測するにあたり、「態度の個人内偏差と個人内SDの交互作用項が負に効いたらそれはERSバイアスの証拠だ」という理屈も、多重共線性の心配はないのかしらんと不思議だが、まあよしとしよう。
いっちばん引っかかるのは、交互作用項の係数の大きさではなく、符号にのみ注目していることだ。「49個のモデルのうちそれが負になったのは何個」だなんて、1992年に至って、なぜそんなローテクな話を？ さっぱりわからない。個々のモデルについて効果量を求めるのが筋だろうに。
後半の、回答スタイルがセグメンテーション・スタディを歪めるという例示も、ちゃんと読んでないけど、ちょっとげんなりする。著者が示しているのは、ある指標群をつかった対象者分類と、その指標群をちょっぴり変換した(回答の個人内分散が大きい人の回答を個人内平均に向かって少しずらした)指標群をつかった対象者分類が、デモグラフィック特性の観点から異なっていました、という話だ。それは要するに、回答の個人内分散がデモグラフィック特性によって異なるということだろう。だったらなぜそれを直接示してくれないのかと思う。わざわざセグメンテーションの文脈に持ち込むのは、なにかこの論文誌のお作法のようなものなのだろうか。
素直に考えれば、たとえばある人がなんでもyes方向に回答しちゃったとして、それはその人がほんとに全項目についてポジティブな態度を持っていることを表しているのかもしれないし、単にそういう回答スタイルの人なのかもしれない。それは常に両方ありうることで、どっちかだけが正しい、なんてことはありえないだろうと思うのである。だから「yea-sayingは回答バイアスを含んでいるか否か」というような、白か黒かという仮説設定自体が、ああ論文のための仮説、研究のための研究だなあ、という気がする。
現実には、回答スタイルらしきものはいつも存在する。その効果を全然除去しないのも困るし、完璧に除去しちゃうのも困る。そのさじ加減を決めるのが一番の悩みどころだし、その合理的な方法こそが、回答スタイル研究に強く期待されるところだろう。この論文でいえば、w_1の値を決めるところがそれだ。ところがこの先生ときたら、w_1を0から1まで0.25刻みで動かし、たった5通り試しただけで、よしw_1=0.5だと決めてしまう。なんだかなあ、もう...
などとぼやきつつ最後のパラグラフまで読んでから気が付いたのだが、よく引用されているのはこの論文じゃなくて、著者が同じ年にPublic Opinion Quarterlyに載せたほうだ。ガアアアッデム...
論文：データ解析(-2014) - 読了：Greenleaf(1992) 回答スタイル由来のバイアスを検出・補正する