« 読了：Lewis-Beck, & Skalaban (1990) R二乗について率直に語ろう | メイン | 読了：Reyes, Francisco-Fernandez, & Cao (2016) ヒストグラムから元の確率密度を推定します、階級の幅が不均等でも大丈夫です »
2018年10月13日 (土)
King, G. (1990) Stochastic variation: A comment on Lewis-Beck and Slakaban's "The R-Square". Political Analysis 2(1), 185-200.
先に読んだLewis-Beck & Skalaban (1990) に対する、政治学者King先生の反論というかコメントがあったので(というか「いつか読む」箱に入っていたので)。ついでに目を通した。ほんとはそれどころじゃないんだけど、つい...
いわく。
いま回帰をやって、効果パラメータ$b$, その分散行列$\hat{V}(b)$、誤差項の分散$\hat{\sigma}^2$を手に入れ、オリジナルのデータは捨てたとしよう。ここに$R^2$を付け加えたら、実質的リサーチ・クエスチョンに関してなにか新しいことがわかるのか？ Noだ。というのが86年の論文における私の主張であった。
変数$z$について
$S(z) = \sum_i^n(z_i - \bar{z})^2 / n$
として($n-1$で割ってないのは簡略のため)：
$R^2 = S(\hat{y}) / S(y)$
$\hat{\sigma}^2 = S(y) - S(\hat{y})$
$\hat{V}(b) = [S(y) - S(\hat{y})] (X'X)^{-1}$
だよね。違いは、$S(y)$と$S(\hat{y})$の比をみるか、差をみるか、差を重みづけるか、にすぎない。$R^2$は新情報を付け加えない。
なお、Lewis-Beck & Skalabanは$R^2$を母集団パラメータの推定値だと捉えているけれど、本当だろうか？ 回帰モデルの式をみてみよう。どこにも$R^2$にあたるパラメータはないぞ。
話を戻すと、$R^2$と$\hat{\sigma}^2$(ないし$\hat{V}(b)$)の両方はいらない、どちらかでよい。どちらをとるべきかはほぼ趣味の問題だが、研究者をミスリードしないのはどっちだ、という議論はできる。私は$\hat{\sigma}^2$のほうがいいと思う。理由は次の3つ。
- L&Sいわく、$R^2$は標準化されているから便利であると。そうは思わない。市長選の予測モデルの予測の標準誤差は±7.7パーセンテージ・ポイントでした、と。これで十分じゃないの。いまどきダン・ラザーだって95パーセント信頼区間を教えてくれる[←ウケる...]。
想像してみよう。Newark市の市長が再選を目指している。「モデルで予測された得票率は53パーセント。信頼区間は1パーセントポイント」どう思う？ たぶん彼は当選するだろう。「モデルで予測された得票率は53パーセント。R二乗は0.85」どう思う？ よくわからんではないか。 - 思い出してほしい、我々はこれまでに何度も何度も、標準化によって痛い目にあっているではないか。いまでは政治学者はみな知っている、標準化係数ではなく非標準化係数を使うべきであると。Lewis-Beckさん、あなた80年のSageの綠色の本で[←ほんとにこう書いてある]、効果を標本間で比較する際には非標準化係数をみるべしって書いているよ。同じように$R^2$じゃなくて$\hat{\sigma}^2$をみるべきじゃないですか。
- ある目的変数のモデルについて独立変数を増減させるとき、判断の一助として$R^2$の変化をみる、という使い方については異議はない。L&Sと私のちがいは、現在のモデルと真のモデルの間の乖離の程度を判断する際に、$R^2$が役に立つのか(というか、役に立つ指標なんてあるのか)という点である。
いま仮に、Pr(model=truth|data)を求める方法があるとしよう。我々はきっと、いろんなモデルについてこれを求め、一番高いモデルを選ぶだろう。さて、人々はあたかも$R^2$がこのPr(model=truth|data)であるかのように捉えている。L&Sもまた、$R^2$が「どのくらい良いモデルか」を表す指標だと述べているわけで、つまり$R^2$をPr(model=truth|data)の近似と捉えているわけである。
過去3世紀にわたり、Pr(model=truth|data)の算出は数多くの統計学者たちのライフワークであった。残念ながら、彼らは徐々にそれは無理だと気づくようになった。1920年代、Fisherはそのかわりに尤度という概念を打ち出したのである。
ご存じのように、尤度は異なるデータセット間では比較できない。線形正規回帰モデルにおいて、尤度は$R^2$ないし$\hat{\sigma}$の関数である。つまり$R^2$もまた、異なるデータセット間では比較できない。0から1の間に尺度を固定したせいで、比較できるような気がするだけである。
[ここからはR二乗の是非というより、回帰モデルについての啓蒙的解説になるので、メモ省略]
... あーあ、この人たち、絶対友達だよな... 双方とも面白がって書いている...
まあとにかく、整理しておくと、実質的関心がパラメータ推定値に向かっている場合に$R^2$が無意味だ、という点については合意がある。実質的関心が予測に向かっているとき、予測の良さの指標のひとつが回帰の標準誤差(SER)だという点についても合意がある。
意見が分かれているのは、SERを目的変数のSDで標準化するのは回帰分析ユーザにとって手助けになるのか、という点に尽きると思う($R^2$は標本特性か母集団特性の推定値かという話はポイントではない)。King先生も触れていたけど、これ、標準化回帰係数に意味があるのかという論争とパラレルなんでしょうね。
いましらべたら、なんと、同一号にAchenさんのコメントもあるようだ。読みたいような、読みたくないような... 前にAchenさんの本を読んだら、華麗なレトリックのつるべ打ちで、英文読解そのものに消耗したのである。
論文：データ解析(2018-) - 読了：King (1990) R二乗？ だから要らないってば、そんなの