« 読了: Grun & Hornik (2001) topicmodels パッケージ | メイン | 読了：Du & Kamakura (2012) 多変量時系列のなかに消費者トレンドをみつける »
2014年6月24日 (火)
Halay, R.I. & Baldinger, A.L. (2000) The ARF copy research validity project. Journal of Advertising Research, 40(6), 114-135.
アメリカの広告業界団体ARFが、80年代、広告クリエイティブのプリテスト(コピー・テスト)の妥当性を検証する委員会というのを設け、３年間かけて実証研究をやった、その総括。仕事の都合で目を通したのだが、これがもう、辛い辛い論文で...
冒頭にあるいきさつによれば、最初は各企業が持っているデータを集めようと思ったんだけど、やはり無理だった。次に、ある広告についていろんな種類のプリテストをやって、その結果とその後の売上との関係を調べようとしたんだけど、それも無理だった。結局、「その後の売上が良い広告と悪い広告」のペアを作り、それらについていろんなテストをやる、という形にした。
その後もいろいろあって(資金が尽きたとかなんとか、実に言い訳がましい)、結局は５つのTV CFのペアを使用。ブランド名は非開示だが消費財。ペア内でブランドは同じらしい。要するに、CFのsplit cable test(地域で分けたA/Bテストであろう)をしているメーカーを探し、データを出してもらった、ということだと思う。
実験したテスト手法は６通り。うち３つがon-air test、これが上記のデータであろう。詳細は公開できない由。ほか３つはoff-air test, こっちはこの委員会が自分たちで会場調査したもので、
方法1. 提示→説得指標を聴取→再生課題→診断指標を聴取
方法2. 提示→programについて質問→再提示→説得指標を聴取→再生課題→診断指標を聴取
方法3. 説得指標を聴取→提示→説得指標を聴取→再生課題→診断指標を聴取
提示するのは10分間の番組で、そのなかに当該CFと別のCF2本がはいっている。説得指標とはブランド選択とか購入意向とか(つまり、方法3はpre-postデザインなのだ)。再生課題とは、製品カテゴリ名を提示してブランドを再生させる、など。診断指標とは、役に立つ広告でしたとか、退屈な広告でしたとか。
というわけで、(CFが5ペア) x (手法が6個) =30セル。対象者はセルあたり400ないし500人。予算も尽きるわけだ。
結果。これがまた、実務家向けチャートはこっちで研究者向けチャートはこっち、なあんてごちゃごちゃと言い訳がましいのである。出してくる数字もなんだかわけがわからない。各ペアの差について有意水準0.20で検定しまくり、有意になったペアの割合を0.20で割る、なんていう指標を作っている。有意差が出るチャンスレベルが0.20だから、とのこと。理解に苦しむ。この時代にはメタ分析という概念はなかったのかしらん？
まあいいですよ。研究者向けと称するチャートから主な結果をピックアップすると、
- 説得系の指標は、ブランド全体評価(6件法)が売上と関連する。平均でもTBでもたいして変わらない。次がconsideration frame (どういう設問なのか書いてない)。購入意向(絶対、比較)、恒常和法は効かない。pre/postの比較になると、consideration frame, 購入意向(絶対, 比較), 恒常和、いずれも効かない。おいおい。
- 広告自体の顕著性に関する指標は、非助成第一想起が売上に効く。非助成想起全体、助成想起はろくに効かない。pre/postの比較はろくに効かない。
- 広告内容の再生に関する指標は、製品カテゴリを手がかりにしたブランド名再生などが効くが、ブランドを手掛かりにした内容再生は効かない。
- コミュニケーション系の指標は、広告が伝えようとしていたポイントについて尋ねる設問が売上に効く、とかなんとか。パス。
- 広告の印象評定系の指標が、意外にも効きまくる。
そのほか、指標を組み合わせて売上の良し悪しを判別してみたり、因子分析してみたり... 面倒なのでスキップ、スキップ。
手法に関しては以下の通り。on-airとoff-airを比べると、off-airは売上を予測しました、on-airはよくわかりません(ごちゃごちゃ言い訳)。pre/post比較よりpostのみのほうがよさそうでしたがよくわかりません(ごちゃごちゃ言い訳)。複数回見せるのはいいことかもしれないしそうでもないかもしれないです(ごちゃごちゃ言い訳)。いやー好意度って大事ですね。とかなんとか、とかなんとか。
ええい！！！スキップだーーー！
この人たち、なんでこんなにダラダラした文章を書くのか？ なぜ実験結果について述べている途中で昔話を割り込ませたりするのか？
というわけで、心底イライラし、後半2/3は読み飛ばした。読了とは言い難いが、悔いはない。おしまい！ 次に行きましょう次に！
追記: この論文、1991年に発表されたもので、私が読んだのはこの雑誌の2000年の「古典的論文」特集での再録らしい。古典ねえ...
論文：マーケティング - 読了: Halay & Baldinger (2000) ARF広告プリテスト妥当性プロジェクト