« 回顧リンク集：回答スタイルについて | メイン | 読了：Athley, et al. (2017) 一般化ランダム・フォレスト »
2018年1月 8日 (月)
企業が顧客ロイヤルティの程度を測るとき、NPS(net promoter score)という謎の指標を使うことがある。
かっこいい名前だが、要するに、調査票に一問、当該ブランドを他の人にも勧めたいかどうかを11件法で訊いた設問を入れる。で、top2box%(上位2段階の反応率)からbottom7box%を引く。これをNPSと呼ぶ。それだけ。ほんとにそれだけ。
態度測定に関心がある人なら誰でも、「おいおい、なぜ一項目で済ませようと思うかね...?」と首を傾げるのではないかと思う。少なくとも私は最初唖然としました。
ここで測りたい対象(ロイヤルティ)は抽象的な構成概念である。それはNPSのように推奨意向という形でも訊けるだろうし、「これからも買いたいか」といった項目でも訊けるだろう。だったら、いくつかの角度から手を変え品を変えて訊き、得られた回答を合成した方がよいのではないか？
こうした発想(多重指標による態度測定)に抗し、あえてNPS的な単一指標測定を推すとして、その論拠はいくつか考えうる。
これまでに私がもっとも頻繁に耳にした説明は次の通りである。いわく。KPIにとってなによりも大事なこと、それはわかりやすさである。企業成員の上から下までの誰もが「ああこれは顧客ロイヤルティを測っている値なのね」と納得することこそが大事なのである。多重指標を用いた推定は、「科学的には正しいかも知れないが」(←ってみんないうんですよね。もう聞き飽きたのでなにか略語を作りたいくらいだ。KTSとか)、いかんせんわかりにくい。云々。
この説明をもっと正確に言い換えると、組織において人々は、人々の納得感こそが大事だという過剰なまでに強固な信念を抱いている、ということである。暖かく言い換えると、上は下の知的水準を慮り下は上の知的水準を忖度するという優しい世界がここにある。シニカルに言い換えると、誰もが「俺以外はみな単純な馬鹿だ」と思っているから、それに応じて組織自体がほんとに馬鹿になっていくわけである...というのはさすがに言い過ぎかな。
それはまあいいや。単一指標が支持される第二の論拠は、そのぶん調査票が短くなる、というもっともな指摘である。たとえ標本調査であるにせよ、長く面倒な調査票が回答者(つまりは顧客)のブランド・ロイヤルティを下げてしまうようでは、確かに元も子もない。NPSの提唱者ライクヘルドの本を読んでいると、長い調査票のことがコレデモカとディスられていて、この人は両親をリサーチャーに惨殺されたのだろうかと不思議に思うくらいだが、調査項目をとことん減らせという主張自体は、確かに仰せのとおりと思う。その割に、定例的な顧客満足度調査の調査票に、NPS用の他者推奨意向項目をはじめとしたさまざまな項目がコレデモカコレデモカと山のように詰め込まれているのを拝見し、なんだか複雑な気持ちになることも少なくないのですが、それはそれ、これはこれである。
それもまあいいとしよう。一番ややこしいのは、NPSを支持する方々が挙げる第三の論拠、予想外に斜め上方向から飛んでくる理由である。
ライクヘルド先生はなんと、「他の指標ではなくNPSこそが企業収益と密接に関連する！我々はエビデンスを持っている！」と強硬に主張しているのである。購入継続意向や好意ではなく推奨意向こそが予測的妥当性を持つのだ、というわけである。そりゃすごい。
で、その主張に依拠したコンサル・ビジネスが花盛り、いまやNPSを飯の種にしている人が世界中に大勢いて、うっかりNPSの悪口を云おうものなら「おまえはロイヤルティのなんたるかがわかってない」なんて言われちゃうわけで...
Keiningham, T.L., Cooil, B., Andreassen, T.W., Aksoy, L. (2007) A longitudinal examination of net promoter and firm revenue growth. Journal of Marketing, 71, 39-51.
昨年末、「でもNPSは収益と直結してるっていいますよね？」「いやそれが案外そうでもないという話もありまして」というやりとりをする機会が何回かあり、そのたびにキニングハムさんたちの論文を紹介していた。もうなくなっちゃった会社の話だから時効だとと思うけど、前職で「クライアントがロイヤルティのKPIをNPSに切り替えたいと言い出した時のために読んでおけ」と、この論文が海外から回覧で回ってきた記憶がある。競合他社の人が書いた論文なのにね、ははは。
自分ではろくろく読まずに人様に紹介するのもどうかと思い、探してみたら、2007年の論文は以前読んでいたようで、メモが出てきた。
いわく。
NPSは2003年の提唱以来、いろいろ批判はありつつも(Keininghamご自身の著書"Loyalty Myths"が挙げられている), NPSは広く普及してきた。ジャック・ウェルチはじめ多くの有名CEOがNPSを称賛している。いまでは企業が投資家にNPSを報告するくらいである。
NPS受容の根拠となったのは、提唱者ライクヘルドが示した、NPSと収益成長率との密接な関連性であった。ところがこのエビデンスはいまだピアレビューを受けていないし、きちんと再現した人もいない。
本研究はReichheld(2006, HBR; 2006「究極の質問」), ならびにSatmetrix社[NPSの商標を持っている会社]のホワイトペーパーの再現を試みます。使うデータはNCSB(Norwegian Customer Satifaction Barometer)[←これは多重指標を使ってロイヤルティ指標を算出している]。
理論的背景。
まずWoM(クチコミ)について。
WoMが売上に効いたという逸話はたくさんある。しかしその関係はなかなか複雑だということも示されている。Godes & Mayzlin(2004 MktgSci)によれば、WoMとTV視聴率には関係がないし、小売のロイヤル顧客のWoMは売上に効かないが、非ロイヤル顧客のWoMは効く。また、WoMが製品への反応に効くという点については一般的な合意がある。
WoMの価値を算出しようという試みは少ない(Helm 2006 Managing Service Quality; Hogan et al, 2004 J.Adv.Res., Wangenheim & Bayon 2004 EuroJ.Mktg.)。企業収益とWoMの関連を縦断で調べた査読論文は見当たらない。
Net Promoterについて。
広く知られるようになったのは2003年のHBRの記事。Satmetrixが2001年から集めたデータで、NPSが他の調査設問よりも企業収益の成長率を強く予測すると示した。Satmetrixは2004年のホワイトペーパーで詳細を示している。そのほか、MIT Sloan Mgmt Review の記事(2006), ライクヘルドの2006年の本「究極の質問」がある。ライクヘルドさんにいわせれば、NPSが12ポイント上がると企業の成長率は倍増する。
さて、ライクヘルド-Satmetrix以外からの証拠は、知る限り次の2つ。
- Marsden, et al.による、Listening社とLSEの共同研究。NPSが7ポイント上がると成長率が1%上がるという結果。しかしこの研究は、NPSの横断調査と、その(翌年じゃなくて)前年の収益成長率を比べている。
- Morgan & Rego(2006 MktgSci)。ACSIを使った時系列研究。調査からたくさん指標を出していて、そのなかに"Net Promoter"がある。企業パフォーマンスの予測力はないことが示されている。しかし、データもNPSの計算方法もオリジナルと全然違うし、NPSのdata fieldsについて誤解している(2007年の同誌でコメントを書いたから読め)。
本研究の目的は、なにかの理論的仮説の検証ではなくて、単純にライクヘルド-Satmetrixの知見を追試すること。
手法。
NCSBでは、世帯にとって重要であるいろんなサービス産業における大手企業について、その顧客に対し、推奨意向、全体満足、再購入意向などを訊いている。ノルウェー全国から得た確率標本への電話調査、およそ16000票、企業当たり100-200票。
NCSBはもともとFornellがスウェーデンとUSでやった研究に基づいている。理論的背景についてはFornellらの論文を参照のこと。
ここでは、NCSBで推奨意向・全体的満足・最購入意向の3つを経年で調べており、かつ企業収支データが手に入る21社について調べる。NPSは推奨意向から求める(あいにく10件法で訊いているので、top2box%からbottom6box%を引く)。
ライクヘルド-Satmetrixがやった手順は次の通り。(1)各企業について2年分のNPSの平均を求める。(2)同じ2年間、ならびにその前の1年を含めた3年間について、収益成長率平均を求める。(3)産業別に相関を求める(結局、過去の成長率とNPSを比べているわけだ)。なお、HBRの記事では3つの産業の散布図を示していて、企業数はそれぞれ3件, 5件, 10件。
その良し悪しは別にして、これとおんなじ方法で調べます。産業数は5つ(銀行、コンビニつきガソリンスタンド、家具屋、セキュリティシステム、運輸)。
結果。
NPS, NCSB, 全体的満足、再購入意向、推奨意向、平均で見ようがTopboxでみようがTop2boxでみようが、収益成長率とはろくに相関しない。[いろいろ手を変え品を変えて示しているが、省略]
重回帰モデルで変数選択すると、BIC最良なのはどの指標も使わないモデルであった[←はっはっは]。
このように、単一の態度指標では、企業の収益成長は予測できない。
こんどは、NPSとACSIを比べてみよう。[ACSIとはUSのロイヤルティ・モデル、ならびにそれに基づくロイヤルティ調査。もちろん多重指標を使ってスコアを出している。ちなみにライクヘルド先生はご著書でACSIをさんざんけなしている。さあ、ここからなかなか性格が悪くて楽しいぞ]
ライクヘルドの著書「究極の質問」の付録には、6個の産業におけるNPSと企業成長の散布図が示されている。そのうち3つはASCIでもトラックしている。そこで、このページを拡大してスキャンし、点の座標を求めた。で、横軸をNPSから、同じ企業の同期のACSIスコアに差し替えた。見比べてみると、なんと、ほとんど同じである。3つの産業のうち2つで、NPSよりもACSIのほうが、成長率との相関がわずかに高い。
ライクヘルドの本をよく読むと、推奨意向が成長の最良の予測子になる産業とそうでない産業があると書いてあって、後者の例を4つ挙げている(電話、ケーブルテレビ、コンピュータシステム、データベースソフト)。彼らは12の産業で分析したと述べているんだけど、その12のなかにこの4つが入っているのかどうかはっきりしない。仮に入れてないんなら、強力な選択バイアスが働いていることになる。仮にいれてるんなら、我々は3つのうち2つでACSIのほうが相関が高いことをみつけたわけだから、12産業のうち4+2=6産業、つまりは全体の半分で、NPSは最良の予測子にならないことになりませんか？ [←いやーん、ネチネチしてるー]
結論。
ライクヘルドは著書でこういっている。「我々がやったことは、本書の想定読者であるビジネス・リーダーにわかるように、常識を定量化するということであった。実務家は進んだ統計手法に関心を持たない。因果と相関、時間枠、統計手法については論争が続いているが、率直にいってたいした価値があるとは思えない」
そうではない。統計が問題なのである。NPSが確固とした統計的分析に基づいていると信じたからこそ、実務家たちはNPSを受け入れ、CEOはアナリストにNPSのデータを示したのだ。
本研究によれば、NPSは確固たる科学に基づいてもいないし、他の指標よりも優れていない。その結果、企業のパフォーマンス、企業価値、株主の利益について、誤った戦略が生まれ、誤った資源配分がなされてきた可能性がある。ライクヘルド-Satmerixの知見は独立した客観的な検証にさらされる必要がある。
云々。
... はっはっは。メモを読み返しただけでも笑ってしまった。面白い論文である。
率直に言って、単一指標による態度測定よりも多重指標による測定のほうが信頼性が高くなるであろうことも、どう測定したところで顧客態度と企業収益がそれほど密接に結びつきはしないだろうということも、容易に想像がつく話だと思う。だから結論にあんまり驚きはない。人々は大言壮語に弱いなあ、大言壮語の検証には手間がかかるなあ、という感慨だけがある。
世のNPS信仰に対する実証的反論はこの研究以降にもあると思うので(意識の高いビジネスマンの方々が愛するHBRにさえ載っている)、そういうのが少しでも知られるようになり、みなさんちょっと頭を冷やしてくださるとありがたいんですが。
これはNPSで飯食っているご専門の方々にも頷いて頂けると思うんだけど、要は測定を活動と結びつけることが大事なのであって、NPSが企業収益と「もっとも」関連する指標ではないとしても、もはやどうでもいいんじゃないですかね。設問や集計方法なんかより、その背後にある顧客経験をどう抽出するかとか、カスタマー・ジャーニーをどうやって描くかとか、得られた知見を施策にどう落とし込んでいくかとか、そういうノウハウの蓄積のほうが大事だと思う。NPSに基づくロイヤルティ構築活動の価値は、NPSそれ自体とは別のところにあるだろう。
さらにいえば、調査会社がことさらにNPSを悪く言う場合、その動機は必ずしも純粋ではないかもしれないので、ちょっと割り引いて聞いたほうがいいかもしれない。調査会社の観点からみると、態度測定手法が複雑精緻であるほうが、調査サプライヤー選定時のスイッチング・バリアが高くなる。要するに、あらゆるトークはポジション・トークでありうるということである。偶然でしょうけど、この論文の第一著者は市場調査業界の有名人、現在は大学の先生だと思うけど、この論文の時点では某グローバル調査会社の副社長であった。
論文：マーケティング - 読了：Keiningham, et al.(2007) Net Promoter Scoreが企業収益と直結するって？ はっはっは