« 読了：「北朝鮮の指導体制と後継」 | メイン | 読了：「とりあえず地球が滅びる前に」「少年少女」「とりぱん」「ガンスリンガー・ガール」「テルマエ・ロマエ」 »
2011年12月24日 (土)
Soyer, E., & Hogarth, R. (2012) The illusion of predictability: How regression statistics mislead experts. International Journal of Forecasting, forthcoming.
経済学者たちに回帰分析についてのクイズを送りつけ，どう間違えるのか調べました，という論文。性格わるー。たのしー。
クイズはこんな感じ。経済学の論文風のフォーマットで単回帰分析の結果を見せて (たとえば，回帰式 Y=0.32 +1.001X, YのSDは40.78, R^2は0.50)、
- Q1: 95%の確率でY>0となる最低のXは?
- Q2: X=0である別のYよりもYが95%の確率で大きくなる最低のXは？
- Q3: βの95%信頼区間が(0.936, 1.067)、X=1であるとき、Y>0.936となる確率は?
- Q4: X=1のとき、Y>1.001となる確率は？
えーと，正解は... まず標準誤差(SER) = sqrt((40.78^2)*(0.50))=29 を求めておいて，
- Q1: (0.32 + 1.001X)/SER = 1.645 となるX, すなわち47。
- Q2: (Y_i | X_i=c)と(Y_i | X_i = 0) という2つの独立な確率変数の差の分布について問われているんだから，答えは(0.32 + 1.001X)/sqrt(SER^2+SER^2) = 1.645 となるX, すなわち67。
- Q3: (0.32 + 1.001*1)+残差が0.936を上回る確率，つまり残差が0.936-(0.32 + 1.001*1)=-0.385を上回る確率を問われているんだから，答えはN(0,1)で-0.385/SER=-0.013より右側の面積，すなわち0.51。
- Q4: 残差が1.001-(0.32 + 1.001*1)=-0.32を上回る確率は，N(0,1)で-0.32/SER=-0.01より右の面積，すなわち0.50。
さて，その結果は... Q1, Q2に対してはすごく小さな値，Q3に対しては大きな値を答える人が多い。ところがQ4はだいたい当たる。Q3の0.936とQ4の1.001には大して差がないのに。
著者らいわく，回答者は誤差項のことを忘れがちである。だからQ1, Q2では必要なXを小さめに見積もる。いっぽう係数の誤差については敏感である。だからQ3では確率を高めに見積もる(βの信頼区間の教示に引きずられて，という意味であろうか)。
さて，この傾向は，問題文の係数の値を変えても，R^2を下げても変わらない。一緒に散布図をみせても変わらない。ところが，回帰分析の結果の表をみせずに散布図だけをみせると，正解率は急上昇する。ただし回答者は「回帰係数をみせてくんないと困るよ」と文句を云う(面白い！)。
著者らいわく，この問いは経済学者にとって確かにトリッキーだったかもしれない。彼らはふだん，変数の有意性について検討するために回帰分析を使っているからだ。しかし，彼らがつくったモデルは予測ツールとして意思決定に用いられることがありうる。だから，回帰分析の結果から，たとえばある政策が「平均的に」ポジティブな影響をもたらすかどうかを読み取れることだけでなく，その政策のせいでネガティブな影響を受ける人がどのくらいいるかを読み取れることも大事なのである。改善策としては，単にモデルを示すだけでなくシミュレーションも示すのがいいんじゃないか。云々。
仕事からの逃避でぱらぱらめくっていたんだけど，いやあ，面白かった。俺自身は経済学のことはさっぱり疎いし，関心もあまりないのだが，回帰モデルのような統計モデルが人々に illusion of predictability を与えるというのは常日頃から痛感するところである。逆に実務家の方で「統計学なんてテンで当てにならねぇよバーカバーカ」と言い放つ方が時々いらっしゃるけれど，あれもまたこのillusionの反動なのではないかと思う次第である。
話の本筋からは離れるけれど，予測を巡るこのバイアスは，昔のTversky & Kahnemanとかによってすでに指摘されていたりしないのかしらん？ で，もっと一般的な認知法則の発現例として説明できたりしないのかしらん？ 代表性ヒューリスティクスとか。
論文：データ解析(-2014) - 読了： Soyer & Hogarth (2012) 経済学者が回帰分析に抱く幻想