« ファンタジーの眠る場所 | メイン | 読了：01/15まで (NF) »
2006年1月15日 (日)
Seltzer, M.H., Frank, K.A., & Bryk, A.S. (1994). The metric matters: The sensitivity of conclusions about growth in student achevement to choice of metric. Educational Evaluation and Policy Analysis, 16(1), 41-49.
著者に送ってもらった(ありがたきかな)。データ解析の論文を読むのはもう止めようと思うのだが(今度こそ縁が切れるかもしれん)，そんなわけでこれは大急ぎで読了。
みなさん学力変化を調べるときにGEをつかっていませんか。GEスコアの群平均の変化は宿命的に時間線形になるわけでよろしくないですよ。個人ベースのLGMであってもミスリーディングな結果を呼びますよ。ちゃんとIRTつかいなさい。という主旨。
恥ずかしながらよく知らなかったのだが，GE(grade equivalent)スコアというのは，5年生第7ヶ月目月末の集団の得点平均が60点だとしたら，60点のことを5.7と呼ぶ，というもの(学期だけみるので，1年は10ヶ月)。ってことは，5年生向けのテストでも他学年のサンプルをとっておかねばならんということかね。
主旨自体は当たり前なんだけど，GEを使ったせいで生じる誤解の具体例が面白い(Iowa Test of Basic Skillsで実例を示している)。たとえば，群平均の成長曲線のまわりで個人差がラッパ型になったりする。なんだかもっともらしく解釈しちゃいそうだけど(「学力格差が増大しています」とか)，これはGEを使ったせいで起きたartifactなのである。なるほど。
身近な問題に当てはめると，学力変化を捉える際にテストの標準化得点(偏差値)の推移を見ててもだめだなあ，というのは日々考えることだし，現場の人も感じていることだと思う。とはいえ，IRTで等化するのはなかなかままならない(テスト項目を使い捨てる日本の教育評価にもそれなりの事情と美点があると思うので，そこを批判しても仕方がない)。なかなか難しい問題である。それでも，その難しい問題に取り組まなきゃいけないよなあ，と思うのである(その努力を放棄したところに残るのは精神主義だけだと思うから)。標準化得点でできる分析はどこまでか，その限界をはっきりさせたい。
思うに，この論文で指摘されているGEの問題点は，時間に対する変化量を時点間で比較できない(時間関数が構築できない)ということだ。だったら，LGM的なアプローチを捨て，時間経過を定量的に捉えるのをやめちゃって，たとえば反復測定SEMで時点ごとに変化量を推定するのであれば，GEなり標準化得点なりを分析してもかまわないのだろうか。あるいはLGMであっても，時間経過を推定しちゃえばいいのか。うーん，俺の能力を超える問題だなあ。
論文：データ解析(-2014) - 読了： 01/15まで (A)