« 読了：Bas & Bayoci (2007) 応答曲面モデルの使用例レビュー | メイン | 読了：「秋津」「千年万年りんごの子」「予告犯」「87 Clockers」「すみれファンファーレ」 »
2012年10月23日 (火)
Van Ittersum, K., Pennings, J.M.E., Wansink, B., vanTrijp, H.C.M. (2007) The validity of attribute-importance measurement: A review. Journal of Business Research, 60, 1177-1190.
製品なりサービスなりの属性についての重要性測定の妥当性研究のレビュー。数年前から仕事の合間に読み漁っている話題そのもの、4年前には自分でわざわざデータ取って学会発表までした話題そのもの、なのだが... いっちゃなんだけど、レビュー論文なのにgoogle scholar上の引用元件数がたった30件。どういうことなのか。さらに不思議なのは、重要性概念の多義性は統計学の分野でも話題になっているし(Kruskalとか)、心理学者の実証研究もあるのに(Goldsteinとか)、この論文は全然触れていない。好意的にみると、重要性とはそれだけ幅広い話題だ、ということなんだろうけど...
まず妥当性研究のレビュー。13本の実証研究を、収束的妥当性と法則定立的(nomological)妥当性に分けて整理。著者らは重要性測定が直接的評定か統計的推定かという観点からは分けていないので、コンジョイント課題から得た部分効用に対する主観的重要性の予測的妥当性の研究(Jaccard et al.(1986, JCR)とか)は、ここでは収束的妥当性に分類されている。どうやら、単純な選択や選好評定に対する予測的妥当性研究がnomologicalと分類されている模様。
で，著者らいわく... これまで指摘されてきた重要性測定の妥当性の低さは、そもそも重要性概念が多次元的だったから生じていたのだ。Myers&Alpert(1968,JMR)に従えば、属性の重要性の次元には以下の3つがある。
- salience。対象について考える際、当該属性が心に浮かびやすいか。
- relevance。その人の価値・信念に照らしての、当該属性の重要性。
- determinance。そのときどきの判断・選択における、当該属性の重要性。
ここで，属性についての情報はrelevanceとdeterminanceに影響する。属性の水準についての情報はdeterminanceにのみ影響する。また，relevance→salience, relevance→determinance, determinance→salienceという影響がある。
さて、重要性測定の方法には10種類ある。そのうち，属性自由想起はsalience、｛重要性直接評定、ランキング、ポイント配分、AHP、情報呈示ボード｝はrelevance、｛多属性態度法、トレードオフ法、スウィング・ウェイト法、コンジョイント法｝はdeterminanceを測定しているのである。
その証拠に，さっきレビューした妥当性研究を含め，同一属性の重要性を複数種類の方法で測定している論文を34本集め，それらによって可能である計91個の手法間相関を，上記3群の群間比較と群内比較に分けてみると，見よ，群間での相関は低く(弁別的妥当性がある)，群内では相関が高く(収束的妥当性がある)，従属変数との関係は群内では同程度ではないか！ という主旨。
実は上記に反する研究も結構多いんだけど(むしろそっちのリストのほうが長い)，個別に難癖をつけていく。いわく，
- きっと情報処理のちがいのせいだ。ポイント配分は同時評価，直接評定は分離評価だ。具体的属性の重要性は同時評価で高くなりがち。そのせいで同一群内の手法間相関が下がる。
- きっとフレーミングのせいだ。たとえば，属性の水準情報を含んだ課題のあとだと，たとえポイント配分であってもdeterminanceを表すであろう。こうして群間の手法間相関があがってしまう。
示唆としては... 実務的には3つの重要性がすべて大事。将来の研究としては，MTMMアプローチでの検証や，検査再検査法での信頼性研究が必要だ。云々。
うーん...
先行研究レビューとしては大変な労作だなあ，と思う。さすがにプロの研究者たちだ。重要性概念が多義的であるせいで妥当性が低く見積もられている，という主張についても全く同感だ。重要性の3分類も納得できる。著者らのいうrelevanceとdeterminanceとは，Goldsteinがいうsensitivityとimpact, Achenがいうtheoretical importanceとlevel/dispersion importanceのことであろう。重要性測定手法の分類も大変勉強になった。
その上で思うのだけれど... 属性情報や水準情報が明示されているかどうかどうかで手法を分類するというアイデアは，美しいけれども，現実の回答の心的過程に目をつぶっていることになるのではないか，と思う。実際，まさにいま手元にあるデータがそれを表しているのだけれど，水準情報を明示しない属性の重要性ランキング課題においてさえ，たとえば「ホントはおいしさが一番だけど，いまどきどの製品もおいしさは同程度だから，価格が一番重要です」というふうに回答する人が少なくないのである。水準情報を明示していない聴取方法であっても，回答者は市場における属性の分布(「おいしさの分散は小さい」)について勝手に考慮してしまうのだ。
調査手法を分類しその性質を特徴づけようとするとき，その鍵になるのは，調査者側がどんな情報を明示しているかどうかではなく，回答者側が実際にどう考えて答えているか，でなければならないのではないかしらん。
10種類の手法のうちいくつかについてメモしておくと:
- 情報呈示ボードは水準情報を呈示しているのでdeterminanceに入りそうなものだが，どのボードをめくるかは水準では決まらないので，relavanceに分類されている。Ford, et al. (1989, ODHBP)というのが引用されている。
- 多属性態度法というのはFishbeinのことではなくて，全体的態度と属性の評価を聴取し回帰で重要性を導出すること(ありがちですね)。
- トレードオフ法とは，異なる製品の魅力が等しくなるように水準を調整させる課題。Keeney&Raiffa(1976, 書籍)というのが引用されている。市場調査でいえばBPTOみたいなものかしらん。
- スウィング・ウェイト法とは，どの属性を改善したいかを順に聴取していく方法(Von Winterfeldt & Edwards, 1986, 書籍)。
最後のやつ，恥ずかしながら初めて聞いたが，本棚を調べたら，先日買ったJane Beattie追悼論文集で紹介されていた。本は買ってみるものだ。
論文：調査方法論 - 読了：Van Ittersum (2007) 重要性測定の妥当性が低いのはなぜか