« 読了：「失敗の本質」 | メイン | 読了：Mittlbock & Schemper (1996) ロジスティック回帰の説明率指標を品定め »
2012年3月 2日 (金)
Rothman, K.J. (1990) No adjustments are needed for multiple comparisons. Epidemiology, 1(1), 43-46.
多重比較法そのものに対する批判としてよく引用されている論文。著者は「ロスマンの疫学」でおなじみの超偉い人。掲載されたのは雑誌Epidemiologyの創刊号で、エディターは先生ご自身である。創刊号になんか書いたらなあかんな、よしこれを機にひとつ無知蒙昧を正しておいてやるか... という感じだったのかも。なにしろロスマン先生は仮説検定にも一家言お持ちの方なのだ(そのせいで起きた波紋についての楽しい論文を読んだことがある)。
先生いわく、多重比較法は次の2つの不適切な思い込みに基づいている。(1)「異常な知見はたいてい偶然によるものだ」(Chance not only can cause the unusual finding in principle, but it does cause many or most such findings)。(2)「偶然によって引き起こされたものに目印をつけ今後の探求に供したいと思っている人はいない」(No one would want to earmark for further investigation something caused by chance)。
含蓄がありすぎる表現で困っちゃうのだが、もっと散文的に言い換えると、こういうことだと思う。(1)多重比較法が仮定する帰無仮説はおかしい。(2)ひとつひとつの比較はそれぞれに価値がある。
論点(1)について。正確を期するために抜き書きすると、"The isolated null hypothesis between two variables serves as a useful statistical contrivance for postulating probability models. [...] Any argument in favor of adjustments for multiple comparisons, however, requires an extension of the concept of the isolated null hypothesis. The formal premise for such adjuestments is the much broader hypothesis that there is no association between any pair of variables under observation, and that only purely random processes govern the variability of all the observations in hand." つまり、多重比較法には次の2つの特徴があるとロスマン先生は考えている。(1-1)「すべての比較において差がない」という帰無仮説を仮定している。(1-2)帰無仮説の下で各比較における誤差が独立だと仮定している。
先生はどちらの特徴を批判しているのだろうか。確信が持てないのだが、両方ではないかという気がする。(1-1)を批判しているように見える箇所: "The null hypothesis relating a specific pair of variables may be only a statistical contrivance, but at least it can have a scientific counterpart that might be true. The universal null hypothesis implied not only that variable number six is unrelated to variable number 13 for the data in hand, but also that observed phenomena exhibit a general disconnectivity that contradicts everything we know". (1-2)を批判しているようにみえる箇所: "the generalization to a universal null hypothesis has profound implications for empirical science. Whereas we can imagine individual pairs of variables that may not be related to one another, no empiricist could comfortably presume that randomness underlies the variability of all observations".
論点(2)について。我々は予測できない分散をchanceのせいにする傾向があるけれど、そもそもchanceという言葉は現象の説明ではない。それはいつの日か因果的な説明が可能な現象かもしれない。かつて肺がんの発症はchance phenomenonだったが、いまでは大部分が説明できるではないか。多重比較の調整は、せっかく観察された関連性にchanceという名前を付け、それを覆い隠してしまうことで、科学にダメージを与える。調整しないと誤った知見が得られてしまう、だって？ 誤りは科学という試行錯誤のプロセスにつきものだ。観察の増大に伴い観察のprivilegeにペナルティを課そうという多重比較の発想は論理的におかしい。"Science comprises a multitude of comparisons, and this simple fact in itself is no cause for alarm".
うーむ。正直なところ、よく理解できなかった。ひとことでいうと、論点(1)の批判のスコープがわからない。恥ずかしいけれども、今後の勉強のために、よくわからなかった点を書き出しておく。
(1-1)についていえば、
- 先生の批判はたとえば１要因実験での水準間比較にも及ぶのか。及ぶとなると、1元配置分散分析でF検定を行うのもおかしいことになる(帰無仮説は「すべての水準のあいだで差がない」だから)。及ばないとなると、多重比較批判としてはすごーく狭い話をしていたことになってしまう。
- この批判が対象としている多重比較手法はなにか。細かい話だけど、たいていの多重比較法は、ロスマン先生の言うような「すべての比較において差がない」という帰無仮説は特に仮定していないと思う。「すべての比較において本当は差がないにも関わらずどこかで有意差を見つけてしまう確率」(Type I FWE)ではなく、「本当は差がない比較のいずれかにおいて有意差を見つけてしまう確率」の、多様な母数配置を通じた最大値(最大Type I FWE)をコントロールするのが普通である。そういう手法ならみなオッケーなのか。
(1-2)についてもよくわからない。
- たとえば1要因4水準の実験計画で、水準1と2、3と4、の2つの対比についてシェフェ法で多重比較する人に向かって、なお「比較の間で誤差が独立でないかも」と批判するならば、分散分析さえ許されないことになると思うけど、そういう理解でよいのか。
- たとえばボンフェローニ法は「和事象の確率は事象の確率の和以下である」という性質に基づいており、比較のあいだで誤差に独立性があろうがなかろうがこの性質は成り立つ。ボンフェローニ法にも批判は及ぶのか。
いっぽう、論点(2)については納得。でも、いやいや実証研究ってのはもっと別のプロセスでもありうるのよ、 たとえば説明はどうでもよくて、取り急ぎ差がありそうな比較をスクリーニングしたいこともあるじゃないの... と開き直る人が出てくるだろうと思う。先日S. Goodmanという人の論文を読んで、なんだか霧が晴れたような気がしたんだけど、Goodmanさんの言い方を借りればロスマン先生は「ある差についての科学的説明の良さを判断する我々の能力を信頼している人」であり、そしてその暖かい信頼は必ずしも自明ではないのではないかしらん。
この論文、ネットでPDFをみつけたはいいが、スキャンの質が悪くて読みにくく、目が悪くなりそうなので途中であきらめて、国会図書館関西館に郵送複写依頼を出した。その後自分のなかで多重比較のブームが過ぎ去り、すっかり忘れたころになってポストに入っていた。
毎度のことながら、国会図書館の複写担当の方はコピーを実に丁寧に送ってきてくださる。そうする規則があるというより、日本の学術研究を支えているという誇りをもって業務に携わっておられるということだろう、と想像する。私は全然支えてないですけど。いつもすみません、感謝感謝。
論文：データ解析(-2014) - 読了：Rothman(1990) 多重比較法は使うな