2018年6月20日 (水)
仕事の都合で小地域推定 (SAE) の勉強をしているんだけど、Rのパッケージが多すぎて困っている。別に使い分けたいわけじゃないんだけど、「もっといいパッケージがあるのでは...」という疑念が頭からは離れないのである。精神衛生に悪い。
現時点でのパッケージを調べてみたので、メモしておく。
CRAN Task ViewsにOfficial Statisticsというのがあり、そこのSAEの項目には、SAEに特化したパッケージとして次の3つが挙げられている。
- rsaeパッケージ。Task Viewsによれば、「基本的なユニット・レベルSAEモデル(nested error回帰モデル)のパラメータをMLないしロバストMLにより推定。MSE推定値、パラメトリック・ブートストラップなどによる、地域ごとの平均のロバストな予測を提供する。カテゴリカル独立変数は扱えない」とのこと。最終更新は2014/02。
- hbsaeパッケージ。「基本地域ないしユニット・レベルモデルに基づくSAEを計算。制約付きML法、階層ベイズ法を用いる。補足情報として、カテゴリカル変数から得られるカウント、ならびに連続的人口情報から得られる平均を使うことができる」。最終更新は2012/09。
- JoSAEパッケージ。「GREGによる点推定・分散推定、ユニットレベルのEBLUP推定量をドメインレベルで提供」とかなんとか(云ってる意味がよくわからん)。これは基本的には後述するnlmeパッケージのラッパーである由。最終更新は2018/05。
Task Viewsに載っていないパッケージとして、見つけたのは以下。といっても、googleで検索しただけだけど。
- saeパッケージ。SAEについての教科書 Rao & Molina (2015) で紹介されているのがこれである。開発者による解説もある(いま気が付いたけど、開発者のひとりがMolinaさんなのだ)。最終更新2018/06(おお、先週だ...)。
- saeRobustパッケージ。説明によれば、「通常使われているSAEモデルのロバストな代替手法を提供。BLUP予測と線形混合モデルに基づく。ランダム効果に時空間的相関があるエリアレベルモデルが利用可能」とのこと。最終更新2018/03。
- maSAEパッケージ。「MandallazのモデルによるSAE」という謎のパッケージである。Mandallazという人の論文を読まんといかんらしい。最終更新2016/08。
- BayesSAEパッケージ。ベイズなんでしょうね。最終更新2018/04。
- saeryパッケージ。時間効果のはいった地域レベルのEBLUP。最終更新2014/09。
- sae2パッケージ。時系列地域レベルモデル。最終更新2015/01。
- emdiパッケージというのもある。「地域非累積指標の推定・評価・マッピング」とのことで、よくわかんないんだけどこれもSAEのパッケージなのではなかろうか。最終更新2018/04。
- saeSimパッケージ。saeRobustと同じ人が開発している。これは推定のパッケージというよりシミュレーションの面倒をみるパッケージらしい。Task ViewsにもMicrosimulationのパッケージとして載っている。
- ほかにmmeパッケージというのがあったんだけど、先月CRANから消えた模様。
なお、SAEに特化したパッケージではなく、一般的な混合モデル・階層モデルのパッケージを使うという手もあろう。Task ViewsにはSAEの項目の下に、nlmeパッケージとlme4パッケージがあがっているが、別に他のパッケージでもいいのではなかろうか。久保先生のページでは、正規分布の混合モデルのパッケージとしてnlme, lme4が挙げられているほか、一般化混合モデルのパッケージとしてglmmML, MCMCglmmがお勧めされている。
雑記：データ解析 - 覚え書き：小地域推定のためのRパッケージ
2018年6月17日 (日)
Ozimec, A.M., Natter, M., Reutterer, T. (2010) Geographical Information Systems-Based Marketing Decisions: Effects of Alternative Visualizations on Decision Quality. Journal of Marketing, 74, 94-110.
差し迫った原稿の準備のために集めた論文のひとつ。アブストラクトを眺めた段階で「これはちがう... いま探してる奴じゃねえ...」と気が付いたのだが、しかしあまりに面白そうで、ついつい最後まで読んでしまった。なにやってんだか。こういうことだからダメなんだろうな。
マーケティング分野でのトップ誌 Journal of Marketing に載ってはいるが、これ、Applied Cog.Psy.とかに載ってても全然おかしくない。要するに、地図上での情報視覚化についての実験研究なのだ。
先行研究。
意思決定支援において視覚情報は大事だ。その効果は視覚表現によってもちがう。
先行研究には大きく3つある。
- 表 vs. 図の比較。決定課題と問題表現の認知的適合性が高いと良い、とか。
- 同一のシンボルタイプ内での比較。パイチャートよりバーチャートが良い、とか。
- 異なるシンボルタイプ間での比較。Cleveland & McGill(1984 JASA)の基本知覚課題の理論とか[「共通尺度上の位置で表現するのがいちばん良い」ってやつ]。
本研究は３番目に属する。マーケティングでGISを使うという文脈に注目する。Clevelandらの研究をそのままあてはめることはできない。なぜなら、
- GIS上の主題図はたいていシンボルがたくさん載っているので、すでに過負荷の状態にある。このことを考慮しないといけない。
- Clevelandらの課題は比較的シンプルだったが、マーケ意思決定はふつう多次元的。
概念枠組み。
GIS上で主題図を見て、いろんな基準に基づき、それぞれの位置における収益レベルを評価する、という場面について考える。
マーケにおいて用いられるGIS上の主題図のうち、以下の4種類に注目する。
- コロプレス地図[塗り分け地図のことね。県の人口を県の色の濃さで表す]
- あんまし使われてないけど、カルトグラム[人口の多い県はでかく描く]
- 比例シンボル[県の人口を県の位置に置いた円の大きさで表す]。円が重ならないように小さく描くのと(squeezing)、重なってもいいから大きめに描くのと(overlap)、２種類。
- ダイアグラム地図[県の人口を県の位置に置いた柱の高さで表現する]。小さめに描くのと(squeezing)、大きめに描くのと(overlap)、大きめに描いて重ならないようずらすのと(dislocation)、３種類。
ここでsqueezing/overlap/dislocationのちがいは、過負荷のハンドリングのちがいと捉えられる。
これらが意思決定のパフォーマンスの測度に与える効果を調べる。測度として、決定の正確性(決定者が選んだ位置の収益が最適位置の何パーセントだったか)、決定の効率性(所要時間)、決定者の確信度、課題の容易性の知覚、を用いる。
さらに、効果のモデレータとして、課題の複雑性(決定基準の数、選択肢の類似性)、ユーザ属性(空間能力、地図の経験)、時間圧力に注目する。
仮説。
- 色の濃さより、円や柱を使った方が、決定課題の成績が良くなる。なぜなら、Bertin(1983)のサインシステム論によれば...[とひとしきり理屈が書いてあるが、要するに色の濃さを比べる際には「こっちのほうが何倍大きい」という読み方ができないから、という話]
- 色の濃さと歪みを併用すると[カルトグラムのこと]、単一のシンボル化を複数種類使うよりも成績が良くなる。なぜなら、Wolfe(1994)のGuided search理論によれば、単一のシンボル化の場合はひとつづつ系列的に処理するようになるから。
- 柱を使うよりも円を使った方が成績が良くなる。Clevelandらとは逆の仮説だけど、地図研究では先行研究がある。柱は狭くて視覚的に不安定だから[←この説明もよくわからん]
- 円の重複よりも柱の重複のほうが悪影響をもたらす。なぜなら...[面倒くさいので省略するけど、理屈が縷々述べてある。ゲシュタルト心理学まで引き合いに出して]
- 柱をずらすと重複しているときより成績が悪くなる。場所との関係をつかみにくくなるから。
- 決定課題において選択肢間の類似性が高くなると、色の濃さだけを使うのと比べて、色の濃さと歪みを併用するほうが成績が良くなる。なぜなら、色の濃さだけ使っている場合、面積は(実際には意味がないのに)その地域の重要性として受け取られてしまい、決定課題が複雑なときには特にそのバイアスが効いてくるから。[面白い理屈だ]
お待たせしました、実験です。
オンライン実験。被験者数1349、うち3割強が仕事でGISを使っている[←どうやってリクルートしたんだ...]。
課題は、GIS主題図をみせて、「家具小売の新規出店候補地５つのなかから、もっとも魅力的な場所をひとつ選べ」。GIS主題図には決定の基準となる変数が全部載っているんだけど、コロプレス図と比例シンボルは地図一枚あたり１変数しか表せないし、カルトグラムは２変数、ダイアグラム図は３変数までにしたので、たとえば決定基準の数が6ならば、コロプレス図と比例シンボルは６枚、カルトグラムは３枚、ダイアグラム図は２枚を並べてみせることになる。
要因は次の4つ:
- GIS主題図。上述の7水準、被験者間。
- 時間圧力。{時間制限なし, あり}、被験者間。
- 選択肢の類似性。一位選択肢と二位選択肢の間の類似性が{高い,低い}, 被験者間。[詳細略]
- 決定基準の数{平均購買力と人口の2つ, それに加えて駐車スペースの有無など計6つ}, 被験者内。
要するに、被験者間が7x2=14水準、被験者内が2x2=4水準である。
結果。どの仮説もだいたい支持。
考察。
シンボルのタイプは、円、色の濃さ＋歪み、色の濃さ、柱の順に優れている。柱は重複に弱いし、重複を避けるためにずらすのもやはり良くない。マーケターのみなさん、円をもっと使うといいよ。
云々、云々。
... いやー、楽しいなあ。
正直なところ、仮説を導入する際の理屈の長さに閉口したが(仮説自体はそりゃそうだろうよというようなものなので特に)、論文たるものかくあるべきだよな、という気もする。全く同じ実験データを得ていても、仮説を先に述べずに結果を後づけで解釈してたら、きっと大変にしょぼい感じの論文になっていただろう。もちろん、実際には結果を先にみてから仮説を考えてるんだろうけど、これがお作法の美しさというものだ。
というわけで、マーケティング研究の皮を被った人間工学的実験研究を堪能した次第だが、課題状況を実務場面に近づけましたと主張するタイプの実験研究が往々にしてそうであるように、この課題状況が本当に実務場面に近いのか、実は誰にもわからんのではないかという気がする。
早い話、BIツールの担当者が「なるほど、出店候補地を比較する上で検討したい変数が６つあるんですね、わかりました、じゃ地図を６枚並べて表示しますんで眺めて下さい」なんてことをいってると、出店計画の担当者は「てめぇふざけんな」と怒り出すのではないか。ふつうは、６変数をなんらか組み合わせて収益性を予測し一枚の地図上に表現するか、地図でみせるのを諦めるんじゃないかと思うのだが、そんなことないですか？
このへんが「実務場面に近い」という言い方の怖いところで、「実務」というのはあいまいで幅が広く、それがなんなのか、実は誰も知らないのである。
論文：心理 - 読了：Ozimec, Natter, Reutterer (2010) マーケティング実務家のみなさんのために、地図上でなにかの変数を表現する際の良い描き方について調べました
2018年6月13日 (水)
高阪宏之(1993) 市場分析に対する地理情報システムの可能性. GIS-理論と応用, 1, 23-33.
著者は地理学の先生らしい。電算機による空間的意思決定支援システムはマーケティングに役に立つであろうという概説。掲載されたのはこの雑誌の創刊号だから、きっといろんな専門家がいろんな分野について述べたのであろう。
いやあ... ある分野が新しく立ち上がるときってのは、きっと楽しいでしょうね...
論文：マーケティング - 読了：高阪(1993) 電算機による空間的意思決定支援システムを市場分析に活用すべき時代がやってきた in 1993
2018年6月12日 (火)
行川一郎(2015) 地方/地域活性化とマーケティング : 地方創生のためのマーケティング・ツール. 国際経営フォーラム, 26, 1-19.
掲載誌は神奈川大の紀要、著者はそこの先生らしい。企業のエリア・マーケティング手法を使って地域を活性化できるんじゃないだろうかというような大きな内容であった。
論文：マーケティング - 読了：行川(2015) エリア・マーケティングのツールはきっと地域活性化に役立つだろう
松岡公二(2005) 消費者購買行動把握におけるGeographic Information Systemを利用したエリアマーケティングの役割. 拓殖大学経営経理研究 74, 147-176.
えーと、小売店の立地を最適化する方法としてマーケットシェア関数というのがあって、人口データと年齢階級別消費支出データを使って平面上で予測売上高を求めた、という話であった。
論文：マーケティング - 読了：松岡(2005) 居住者データとかを使って店舗の立地を評価する
土橋明(2009) 既存のエリア・マーケティングに対する問題点の一検討 : 社会指標値(PLI)と実態調査の比較分析. 北海学園大学経営論集 7, 87-98.
著者は経営学の博士の学生さんらしい。最初は問題設定がつかめなくて困惑したんだけど(私のせいです)、次のような研究。
ここでいう社会指標というのは、朝日新聞社の「民力」みたいなやつ(ありましたね、そういえば)。こういうのが行政・民間にわたっていっぱいある。旧経済企画庁は「新国民生活指標」(PLI)というのを公表していた。「住む」の豊かさは北陸が高く、「働く」の豊かさは中国が高いんだそうです。で、連続最下位になった埼玉県が激怒し、99年を最後に中止された。
そこで、5都市について別に住民満足度のアンケートをかけて(著者はこれを「質的データ」と呼んでいるのである。たぶん住基台帳とかを使ってないという意味であろう)、PLIと比較してみた。という話であった。えーと、いろいろ違っていた由。
なぜこれが「既存のエリア・マーケティングの問題点」かというと、PLIは「エリア・マーケティングを行う際には貴重な定量的データとなることは周知のとおり」だから、という主旨である模様。そうなんですか。
論文：マーケティング - 読了：土橋(2009) ５都市で住民の生活満足度をアンケート調査し、経済企画庁「新国民生活指標」と比較した
竹村和久(1992) ファジィ多属性態度モデルによる購買目的地選択の分析について：エリア・マーケティングのための消費者心理測定の提案. , 地域学研究, 22, 119-132.
かの竹村先生の若き日の論文。多属性態度モデルを拡張し、属性に対する信念とその評価の両方をファジイ数にする、という内容であった。適用例は購買目的地選択。ちょうどブランド選択を説明する際に多属性態度モデルを使うように、「××を買うときにどこで買うか」選択をこの拡張モデルで説明する。
タイトルに「エリア・マーケティング」とあるのに反応して手に取ったという事情があり、肝心のモデルのほうは適当に読み飛ばしてしまった。すいません。
論文：マーケティング - 読了：竹村(1992) 多属性態度モデルをファジイ集合に拡張する
池谷貞彦, 長坂俊成 (1993) GISエリア・マーケティングとその商圏分析への応用. GIS-理論と応用, 1. 99-104.
著者所属は住信基礎研究所。あるスーパーの店舗位置を地図上にプロットし、各店舗の面積に応じた半径の丸を描く。これを大手5社について描き、5枚を並べてちがいを簡単に考察。という、なんというかその、大変みやびやかな内容であった。
Wikipediaで1993年を検索したら、森田童子「僕たちの失敗」がTVドラマのせいでリバイバル・ヒットしたのがこの年。まじか。ついこないだじゃん。
論文：マーケティング - 読了：池谷・長坂(1993) スーパーを地図にプロットしてみた
尾崎久仁博(1993) エリア・マーケティングの理論と実際：市場細分化,流通管理,組織強化の観点から. 同志社商学, 45, 52-90.
えーと、著者は流通の研究者らしい。同じ紀要誌で2001年に追悼号というのが出ている。
遡れるだけ遡ろうという好奇心から読んだ古い紀要論文なので、全然期待してなかったんだけど、これがすごく勉強になった。
前半は文献レビュー。後半は著者による、企業への聞き取り調査。松下電器、資生堂、花王、サントリー、ハウス食品に聞き取りに行っている。で、5事例を通じた考察。
いくつかメモ：
- 米田清紀さんという方が1993年にこう書いているそうだ。エリア・マーケティングには3つの段階があった。(1)70年代、言葉先行の時代。(2)80年代、新手法期待の時代。(3)90年代、企業経営・組織運営全体の枠組みの中で捉える時代。
- いっぽう著者いわく、エリア・マーケティングが日本で実際にブームになったのは2回。(1)70年代中ごろから80年代初頭。背景にあったのは高度成長の崩壊。80年にブレーン編集部編「実戦的エリア・マーケティング」という本が出た。(2)90年代初頭、バブル崩壊直前。新製品開発ラッシュへの反省から、価格維持と競争への強い志向が生まれた。[←へええ！]
- 最初期の研究書は高橋潤二郎(1972)「エリアル・マーケティング」。この人は79年の本で「エリア・マーケティング」と呼び換えている。
- 高橋いわく、エリア・マーケティングは日本独自の概念。「マーケティング地理学」ってのは前からあるけどこれとはちょっとちがう。著者いわく、最近はアメリカでも日本でいうエリア・マーケティングに関心が高まっている由。
- これまでの主要研究として著者が挙げている書籍は次の通り。80年代は、室井鐵衛、米田清紀、牛窪一省。90年代は、加藤智紀、流通政策研究所、佐川幸三郎。
- エリア・マーケティングと全国マーケティングの関連のしかたが4つ考えられる。(1)あるエリアで、そのエリアの特性に適合したマーケティングを展開する。シェアや知名度が向上して他のエリアにも好影響を及ぼすだろうという考え方。(2)あるエリアについてきめ細かく分析する。そこで得た知見は全国マーケティングにも役立つだろうという考え方。(3)シェアの低いところで頑張る。とにかく地域格差をなくすのが目的だという考え方。(4)製品と価格には触れず、プロモーションとチャネルの資源配分を最適化するという考え方。近年有力なのは(3)と(4)。[←なるほど... なんとなく(4)が自明であるような気がしていたよ...]
- エリア・マーケティングをマーケティング戦略としてみたとき、「エリア」の概念があいまいである点に注意。理屈の上からいえば、エリアは市場細分化によって摘出されたセグメントなのだが...(1)実際には市区町村をそのまま使ってたりする。だから、競争度x魅力度のポートフォリオ上にエリアをマップするというような分析にとどまってしまい、「地域差を解消しよう」という標準化の発想へとつながっていく。(2)いっぽう、エリアとして小売店の商圏をそのまま使うこともある。この場合、ふつうは各小売店の商圏のなかに複数のセグメントがあるわけで、エリア・マーケティングは、各小売店のセグメント対応を支援するか、(チャネル別に製品ミックスを変えたりして)各小売店を特定セグメントにターゲティングさせるという形になる。この場合、エリア・マーティングは細分化の発想へとつながっていく。
論文：マーケティング - 読了：尾崎(1993) エリア・マーケティングの理論と実際 in 1993
2018年6月 8日 (金)
Min, Y., Agresti, A. (2002) Modeling nonnegative data with clumping at zero: A survey. Journal of The Iranian Statistical Society, 1, 7-33.
仕事の都合で知りたいことがあって、タイトルがまさにジャスト・ミートだったもので読んだ論文。
掲載誌は... イラン統計学会...?! なぜにイラン?! とびびりましたが、Google Scholar上では被引用回数94, 第二著者はカテゴリカル・データ解析の神様アグレスティ先生、読んでも損はなかろうかと。
タイトルにあるClumping at Zeroという表現、なんと訳したらいいのかよくわからないんだけど、要はゼロがいっぱいあるということであろう。
1. イントロダクション
連続的分布を持っているけど値0の確率質量だけが不連続。こういうのを半連続変数と呼ぼう。これに関連するタイプのデータとしてゼロ過剰カウントデータがある。なお、これらを左打ち切り(censored)データと混同しないように。ここで値0は本物のアウトカムである。
半連続データやゼロ過剰カウントデータを扱う際の難しさは、正規分布やガンマ分布を当てはめるわけにいかないという点にある。本論文は、このような「ゼロに集まっている」データをモデリングするための方法についてレビューする。
2. 半連続データのモデル
初期の研究は主に計量経済学でなされた。Tobin(1958)は耐久財の世帯支出を記述するための打ち切りつき回帰モデルを提案した。いまでいうところのTobitモデルである。この系統のモデルは正規確率変数がなんらかのメカニズムで打ち切られると考える。
このほかに、正規分布を仮定しない系統の研究もある。
2.1 Tobitモデル
反応変数を$Y$とする。被験者$i$の観察を$y_i$とする。
Tobitモデルではこう仮定する。正規分布に従う変数$Y^*_i$を考えて、それが0より大なら$y_i = y^*_i$、でなければ$y_i = 0$。
説明変数ベクトル$x_i$があるならば
$y^*_i = x'_i \beta + u_i$
ただし$u_i$はiidに$N(0, \sigma^2)$に従う。
TobitモデルはML推定できる。$N(0,1)$のCDFを$\Phi(\cdot)$, PDFを$\phi(\cdot)$として、Tobitモデルの尤度関数は...[略]。
セミパラ推定の提案もある...[略]。そっちのほうが性能がいいという研究がある。
2.2 Two-partモデル
Tobitモデルでは、反応がゼロか正値を決める確率的過程と、反応が正値であるときにその値を決める確率的過程とが同じである。ここからはそうでないモデル。
Duan et al.(1983)はこう考えた。
$logit(P(Y_i=0)) = x'_{1i} \beta_1$
$log(y_i | y_i > 0) = x'_{2i} \beta_2 + \epsilon_i$
ただし$\epsilon_i \sim N(0, \sigma^2)$。
これはわりかし簡単にML推定できる、というか、別々に推定すればいいのである。尤度関数は...[略]。
このモデルは、アウトカムが本当に正である時のアウトカムのレベルを記述する、条件付きの式を推定している。
2.3 標本選択モデル
Heckman(1974, 1979)の提案も、Tobitモデルをtwo-partモデルに拡張することであった。その後いろんなバージョンが出てきたんだけど、ここではvan de Ven & van Praag (1981)に基づいて説明しよう。
観察$i$について、$\{u_{1i}, u_{2i}\}$がiidに二変量正規分布$N(0, \Sigma)$に従うとする。$\Sigma$の対角成分を$\sigma^2_1, \sigma^2_2$とし、非対角を$\sigma_{12}$とする。
モデルは以下の通り。
$I_i = x'_{1i} \beta_1 + u_{1i}$
$y^*_i = x'_{2i} \beta_2 + u_{2i}$
で、$y_i$は$I_i > 0$のときに$\exp(y^*_i)$、そうでないときに$0$になる。
このモデルはML推定できる。尤度関数は...[略]。
Heckmanの2段階推定でも推定できる...[説明略]。MLより良いとはいえないけど、すっごくかんたんなので、標準的な推定方法となっている。
もっとも、Duan et al.(1983 J.Business&Econ.Stat., 1984同誌)いわく、このモデルは数値的にも統計的にもあまりよくない。尤度関数は局所解に落ちるかもしれないし、計算も大変。打ち切られたデータは観察不能だという想定を置いているわけだけど、それを検証する方法がない。2段階推定だと、結局、下位標本について
$\log(Y_i) = x'_{2i} \beta_2 + (\sigma_{12}/\sigma_{1})\lambda_i + \epsilon_i$
ただし$\lambda_i = \phi(z_i)/\Phi(z_i), z_i = x'_{1i} \beta_i/\sigma_1$という式になるんだけど[ああ...逆ミルズ比っていうんだっけか...]、$\lambda_i$が$x_2$と強く相関していたら推定量が不安定になる。$x_1$と$x_2$は別の変数にしなさいとよく言われるが、そんなの現実的じゃない。
このモデルは、「もしすべての人がアウトカムを持っていたらそのレベルはなんだったか」を記述する、条件付きでない式を推定している。two-partモデルとの違いにご注目。どっちがいいかという点については議論がある。上述のDuan et al.や, Manning et al.(1987 J.Econometrics), Leung & Yu (1996 J.Econometrics)をみるがよろしい。
2.4 Compound Poisson exponential dispersionモデル
一般化線型モデルでは指数型分布族
$f(y_i; \theta_i, \phi) = c(y_i, \phi) \exp(\frac{\theta_i y_i - b(\theta_i)}{\phi})$
を使う。平均$\mu_i$, その分散を$v(\mu_i)$として、$v(\mu)=\mu$とするとポアソン分布である。[ううう...この辺、良く理解できていない...]
Jorgensen(1987,1997)はこう考えた。$v(\mu)=\mu^p$かつ$1 < p <2$とするとこれは複合ポワソン分布になって...なんたらかんたら... なんたらかんたら...
[本節、私の能力を超えて大空を飛んでいったので、ぼんやり空を見上げたまま飛び去るのを待ちますが、要するに、半連続変数をひとつの確率分布でうまく表現できるような謎の確率分布を考える、というアプローチらしい。なんだか知らんが推定できるらしい。Tweedie分布という言い回しを聞いたことがあるけど(SASのGENMODとかで)、これがそれかしらん。勉強する気もあまりないんだけど、Rのcplmパッケージというのがこれなんじゃないかと思う]
2.5 順序閾値モデル
Saei, Ward, & McGilchrist(1996)は、反応変数を順序カテゴリ変数に落とせばいいじゃんと考えた。順序カテゴリ変数$Y_g$の値が、連続潜在変数$Z$と固定閾値で決まると考えるわけね。で、最初のカテゴリを値ゼロを表すカテゴリだってことにすりゃあいい。あとは$Z$のCDFを好きに決めるがよい。ロジスティックとか正規とか。
two-partモデルとは異なり係数がひとつなので、群間でモデル比較しやすい、というのがメリット。カテゴリに落とすときの恣意性と情報損失がデメリット。
2.6 既存アプローチの得失
ある種の打ち切り反応変数であれば、Tobitモデルや標本選択モデルが向いているだろう。でも、ゼロがほんとのアウトカムなら、たいていの場合正規性仮定に無理があるから、two-partモデルが向いている。合成ポアソン指数型分布モデルも悪くないけど(単一モデルで分析できるという意味ではシンプルだともいえる)、あんまり使われてない。順序反応モデルは簡単でいいけど元データを分析してないというのが欠点。
というわけで、いちばん適用範囲が広いのはtwo-partモデルだといえましょう。
3. ゼロ過剰カウントデータのモデル
ゼロが過剰なカウントデータの場合、ただのポアソン分布だと非ゼロの値の変動を説明できない。負の二項回帰モデル(これはポアソン平均のガンマ混合)なり、ポアソン平均の対数のモデルに正規誤差をいれるなりで対処することもあるけど(Agresti本の13章をみよ)、うまくいかないことが多い。たとえば、分布がゼロとどこかの二峰になっている場合、やはり混合分布を考えるほうが自然だろう。
3.1 ゼロ過剰離散分布
Lambert(1992)はゼロ過剰ポアソン回帰モデル(ZIP回帰モデル)を考えた。このモデルでは、データをゼロとポアソン変量のアウトカムとの混合とみなす。つまり、$Y_i$は確率$p_i$で$0$となり、そうでない場合に$Poisson(\lambda_i)$に従う。二値潜在クラス$Z_i$があるのだと考えても良い。でもって、
$logit(p_i) = x'_{1i} \beta_1$
$\log(\lambda_i) = x'_{2i} \beta_2$
とする。
尤度関数は...[略]。EMアルゴリズムでML推定できる。
Hall(2000)は、$Poisson(\lambda_i)$じゃなくて$binomial(n_i, \pi_i)$と考えた。こうすると$Y_i$の上界が$n_i$になる。でもって、
$logit(p_i) = x'_{1i} \beta_1$
$\log(\pi_i) = x'_{2i} \beta_2$
とする。これもEMアルゴリズムでML推定できる。
実際のところ、カウントデータにはoverdispersionがつきものである。非ゼロかどうかとか潜在クラスとかで条件づけてもやっぱりそうである。ZIPモデルだと、$Z_i=0$だったら全員同じと考えているわけで、これはやっぱり無理があることが多い。その意味ではZIPモデルよりゼロ過剰な負の二項分布モデルのほうがよい面がある。どっちがよいかを決めるスコア検定というのもある。
すごく確率が高い値が複数個あるときに注意。たとえば女性の出産数は0か2が多いので、多項ロジットモデルで解いた研究がある。
3.2 ハードルモデル
これはMullahy(1986)が提案したtwo-partモデル。ひとつは非ゼロかどうかを説明する二値モデルで、これがハードル。もうひとつは、ハードルを越えたという条件の下でアウトカムのレベルを説明するモデルなんだけど、ここで切断(truncate)を考える。切断つきポアソンとか、切断つき負の二項とか。
たとえばこう考える。[説明がないけど$\lambda$というのはポアソンパラメータであろう]
$logit[P(Y_i=0)] = x'_{1i} \beta_i$
$\log(\lambda_i) = x'_{2i} \beta_i$
すると尤度関数は...[略]。
カウントの右裾がすごく長いこともある。そういう場合のためのセミパラモデルの提案もある。
3.3 有限混合モデル
3.1に述べたように、ゼロ過剰離散分布は一種の有限混合分布である。これをもっと緩くして、ゼロの母集団と非ゼロの母集団をはっきり区別しないようにすることもできる... [以下メモは省略するけど、なるほどね、正面からゼロ過剰という問題に取り組むのではなくて、ふつうの潜在クラスポワソン回帰モデルを組むわけね。Wedel, DeSarbo, Bult, & Ramaswamy(1993, J.App.Econ.)というのを読むのがよさそう]
3.4 Neyman type A分布
ゼロ過剰カウントデータを、Neyman type A分布というのをつかってモデル化するという提案がある。これはポアソン-ポアソン混合分布で...[この節、一読したんだだけど、実現値$Y_i$はあるポアソン分布に独立に従う$N_i$個の変数の和、$N_i$は別のポアソン分布に従う、という悪い冗談のような話であった。人生においてそんなややこしい話と関わり合いを持ちたくないので、パス]
3.5 既存アプローチの得失
ゼロ過剰モデルとハードルモデルは似ている。母集団は反応がゼロの人々と非ゼロの人々の混合だ、という考え方が自然ならばゼロ過剰モデルがよい。いっぽうハードルモデルはシンプル。さらに、ゼロが過剰なんじゃなくて、標準的な仮定に基づく期待よりも少ないという場合にも、ハードルモデルは使える。
有限混合モデルは、観察が異なる母集団から抽出されているとみなすのが現実的ならば魅力的。ただし、モデルが適合してないときクラス数が過大評価されるかもしれない。Newman type Aモデルは推定が大変。
4. zero-clumpedな反復測定データのモデリング
ここまでは横断データの話であった。ここからは、縦断データみたいにクラスタのあるデータ(観察間に相関のあるデータ)について。研究は多くない。
4.1 半連続データの反復測定
Tobitモデルや標本選択モデルを縦断データに拡張しようという研究はあるんだけど、ゼロが本物のアウトカムだった場合には正規性仮定に無理があるので、本論文では扱わない。
Olsen & Schafer(2001)は、Duanらのtwo-partモデルを縦断データに拡張している。被験者(ないしクラスタ)$i$, 時点$j$の半連続反応を$y_{ij}$、それが0である確率を$p_{ij}$とする。まずゼロか正値かについてのロジスティック・ランダム効果モデルを組む。
$logit(p_{ij}) = x'_{1ij} \beta_1 + z'_{1ij} c_i$
$x_{1ij}$と$z_{1ij}$は共変量、$\beta_1$が固定係数、$c_i$がランダム係数。$c_i$はベクトルにしておくけど、通常はランダム切片モデルで十分であろう($c_i$はスカラーで$z_{1ij}$はなし)。
で、$y_{ij} > 0$のとき$V_{ij} = y_{ij}$として、
$\log(V_{ij}) = x'_{2ij} \beta_2 + z'_{2ij} d_i + \epsilon_{ij}$
ただし$\epsilon_{ij} \sim N(0, \sigma^2)$。ここでも、通常はランダム切片モデルで十分であろう($d_i$はスカラーで$z'_{2ij}$はなし)。
$c_i$と$d_i$を縦に繋いで$b_i$とし、$N(0, \Sigma)$に従うということにする。で、ここが工夫なんだけど、$\Sigma$は対角行列じゃなくて、全要素を推定するわけ。
Olsenらは推定手法をいろいろ比べている。MCMCとかEMとか罰則付き擬似尤度とかGH求積とか高次ラプラス近似とか。[ああ、そうか...よくわかんないけど、これって一般化線形混合モデルに近い話なのではなかろうか...]
順序閾値モデルを拡張するというアイデアもある。Saei, et al.(1996)は...[略]
4.2 ゼロ過剰データの反復測定
Hall(2000)はゼロ過剰ポアソンモデルを時系列に拡張している。
例によって、$Y_{ij}$は確率$p_{ij}$で0、そうでなかったら$Poisson(\lambda_{ij})$と考える。で、
$logit(p_{ij}) = x'_{1ij}\beta_1$
$log(\lambda_{ij}) = x'_{2ij} \beta_2 + b_i$
ただし$b_i \sim N(0, \sigma^2)$と考える。尤度は...[略]。推定は...[略]。なお、ポワソンじゃなくて$binomial(n_i, \pi_{ij})$とし、二本目で$logit(pi_{ij})$のモデルを組むという手もある。
一本目のほうにはランダム効果が入っていない点にご注目。
You & Lee(2001)はハードルモデルにランダム効果をいれるというのを提案していて...[略]。
5. clumpが2つあるデータへの適用
たとえばゼロと最大値がやたらに多いというような場合のように、clumpがふたつある場合にはどうするか。これは患者の順守(compliance)の研究で問題になる。全然いうことを聞かない患者と、完璧に言うとおりにする患者が多いから。ロジット変換して0-1データを実数データにしたところで、clumpに対処したことにはならない。というわけで、我々はいまこの問題を研究してます。
6. 今後の課題
まず、時系列データの研究が足りない。[いくつか「あのモデルをこう変えるのはどうか」的なことが書いてある。略]
半連続データの手法はたいがい、正値であれば対数正規だと仮定している。でもたとえば医療費はもっと右に裾を引く。セミパラな手法のほうがいいかもしれない。
云々。
。。。やれやれ、読み終えたぞ。
そんなに重量級のレビューって感じではなくて、修論かなにかの1章を切り出したような感じだけど、勉強になりました。セレクション・バイアスに対するヘキットみたいなアプローチと、ゼロ過剰カウントデータに対するアプローチはたいてい別の文脈で説明されていると思う。私のような初学者は学習時の文脈に過度に制約されちゃうきらいがあるので、こういう風に、多様な文脈にまたがる話を統一的な記法でレビューしてもらえると、すごくすっきりする。ありがとう著者のみなさん、ありがとうイランのみなさん。
半連続データのところ、意外にもヘキットでなくてTwo-partモデル推しであった。考えてみると、データが半連続であるということの背後にある発生メカニズムを特定せず、一般的にレビューすれば、それはそうなるんだろうなと思う。ヘキットというのは誤差に対して結構きつい仮定を置いているわけで、どこでも使えるわけじゃない。やっぱし、いろんなツールについて知っていることと、目の前の現象について都度都度真剣に考えること、この両方がないといかんのだなあ...と、これは反省の弁である。
論文：データ解析(2018-) - 読了：Min & Agresti (2002) ゼロがやたらに多い非負データの分析方法レビュー
2018年6月 4日 (月)
木山幸輔 (2017) RCT至上主義とその問題：E・デュフロと開発経済学の潮流について. 同志社グローバル・スタディーズ, 8, 93-113.
最近、仕事の関係で「ABテスト最高！」的な発想、いわばRCT至上主義に出会うことが多く、ううむ、それは場合によるのでして...と心のなかでぶつぶつ反論したりすることがある。なにかの足しになるかと思って読んでみた。あまりに魅力的な題名なもので。
えーっと、開発経済学という分野には、最近「RCT至上主義者（ランダミスト）」と呼ばれる立場があるのだそうだ。その代表的研究者であるDufloという人の立場を紹介し、批判する論文であった。この人には「貧困と闘う知」という著書があり、訳書もある模様。面白そうだな、今度読んでみよう。
蓋を開けてみたら、「RCT至上主義」という題名から想像していたのとはかなりちがう内容だったのだが、それはそれで面白かった。勉強になりましたです。
以下、読みながらとったメモなのだが、とにかく全くの門外漢なので、全然信用できません。
- 人は、将来的に利益になる行為とを短期的な利益を秤にかけて後者をとり、結局は損害を被ることがある(腸内寄生虫を除去しないとか、健保に入らないとか)。これに介入する公共政策は正当化できるか。デュフロさんは正当化できると考えた。しかし著者いわく、これは怪しい。なぜなら、(1)人は自分の時間選好を問題として捉えず、むしろ肯定的に捉えているかもしれない。(2)善は多様、リスク評価も多様なのかもしれないのに、これを尊重してない。
- RCTを設計するときや、RCTから得られた結果を解釈したり一般化したりするとき、RCT以外の方法で蓄積された知が必要になるし、デュフロさんも実際にはそうしている。いっぽうでデュフロさんはRCTに集中しようと主張している。もしそれが資源をRCTに集中するという話なら、それはちょっとまずいんじゃないでしょうか。[←なるほど...]
- デュフロさんには施策の「意味」を軽視するきらいがありませんかね。たとえば調査対象をとりまく社会的文脈。デゥフロさんは教員の「欠勤率」が高いことをもって教員のモチベーションの低さをみなすが、教員が村落の「知識人」としての機能を果たしている場合もある。社会システムを無視して教育システムだけのなかで内部最適化を図ってていいのか。
- 実験結果にはエコロジカル妥当性(調査環境と調査から得られた知見を適用したい環境とがちがうかもという問題)と外的妥当性の問題が付きまとう。後者については「人間社会に本質的な要素、それはこれこれだ」という想定が必要になるけど、帰納的に考えるとスカスカになってしまう(「ええと、人間はニーズを有するよね...」とか)。逆に、まず人間の本質を考えてそこから社会の本質的要素を演繹していくとしても、その本質的要素が社会のなかに遍く存在するかどうかはわからない。
云々。
いやもう、ど素人もど素人なので、全然よくわかんないんですけど、「あるアウトカムに対するある施策の効果測定という課題がある、RCTで推測しましょう」という、(外的妥当性という難問を含むとはいえ)価値フリーでノンシャランな話と、いやあなた、その課題設定自体が暗黙のうちにコレコレな価値にコミットしてない？社会的文脈を軽視して局所最適に墜ちてない？といったもっと大きな話とは、マーケティング・リサーチの場合ならば、それはもう、スパアッ！ときれいに分けちゃうわけである。その良し悪しは別にして。
しかしこの論文にはその両方が入り組んだ形で入っているし、きっとこの論文が扱っている分野では、そうそうきれいに分けられないんだろうなあ...と思った。そこんところは教育測定によく似ている。
論文：その他 - 読了：木山(2017) RCT至上主義 (in 開発経済学) とその問題
2018年6月 1日 (金)
Juster, F.T (1966) Consumer buying intentions and purchase probability: An experiment in survey design. Journal of the American Statistical Association, 61(315), 658-696.
前から気になっていた奴。このたび思うところあって読んでみた。
消費者に購入意向を訊く方法について調べていると、日本語ではまだ見たことがないけれど、英語の資料にはときどき"Juster scale"というのが出てくる。要するに、購入意向(買いたいか)じゃなくて購入確率(買いそうか)を11件法で訊く方法である。
これはそのJuster scaleの元になった論文。なんと1966年。あああ... 風情がある... 定年退職した好事家になった気分だ...
Wikipediaによれば、著者F. Thomas Justerは1926年生まれ、有名な経済学者だそうだ。きっとJusterスケールなんて、この人の業績の中ではささやかなものなのでしょうね。
この論文、実に39頁の長きにわたってだらだら続くので、私のほうも非常にだらだらとした態度でめくった。たまに大昔の論文を読むと面食らうんだけど、なんというか、文章が悠長で、修辞表現がやたらに多くないですか。なぜだろう。学術を取り巻く社会環境が変わったのかなあ。
1. 意図とサマリー
耐久財の需要を予測する際、消費者の予期(anticipation)の調査が広く用いられている。その背後にあるのは次の考え方である：消費者による家とか自動車とかの購入の変動は、所得などの財政的変数の変動とはある程度まで独立している。そのような延期可能なタイプの支出の変動を予測するには、財政的変数だけでなくて、消費者の楽観性・非完成を反映するような予期変数を使ったほうがいい。そしてそのような予期変数を直接測定するには、購入意向とか、財政的健全性と態度を示すもっと一般的な指標を使うのがよい。
[ここからこの論文のサマリー. 略]
2. 消費者調査に基づく予測
先行研究では、耐久財の購入の時系列的変動のうち収入などの変数では説明がつかない部分を、購入意向・態度がある程度までは説明することが示されている。横断調査においては、購入意向はその後の世帯購買と強く関連するが、態度変数の影響はあまりないといわれている。
意図の調査では、ふつう対象者に耐久財のリストを示し、それらをたとえば「来月中に」、買う「計画」(plan, intend, expect)がありますか、と聞く。回答はオープンエンドで得て、それをインタビュアーが「絶対に買う」「たぶん買う」「わからない」「買わない」などに分類する[←そうか、当時のことだから面接調査なわけね]。
時系列の分析の際には、全体における購入率$x$を、購入意図者の購入率$r$と非意図者の購入率$s$の加重平均として表現すると便利である。購入意図者率を$p$として
$x \equiv pr + (1-p)s$
たいてい購入意図者は少ないし、購入意図者の購入率はあまり変動しないので、$x$の時系列的変動は主に$pr$じゃなくて$(1-p)s$のほうに起因する。
[説明があまりに長いので勝手に要約しちゃうと、購入意向が低い奴も実際には買うってのが問題なんだ...ということでよろしいでしょうか]
購入率の分散の説明率という面では、意図の調査の成績はあまりよくない。成績を改善できるかどうかは一概に言えない。仮に購入見込みをより正確に測ったとして、事前の期待と事後の行動とのずれが大きいなら成績は改善しないし、ずれが小さいなら成績が改善するはずである。
3. 意図調査は何を測っているのか？
意図調査において聴取される購入のplanやintentionというのは、対象者が指定された期間にその品物を買う確率についての対象者の推定を反映している、と考えるのがもっとも合理的な解釈であろう。ということは、善良な対象者は、購入確率がゼロより大きくても、それが十分に低いと感じられるなら、自らを非購入意図者に分類するであろう。
[この項、1p以上にわたってダラダラ書いてあるんだけど、要約すると上記のようにすごく短くなってしまい、なんだか不安に感じる...]
4. 確率調査のロジック
すべての世帯が、ある購入意向質問$i$について確率のカットオフ$C_i$を持っていて、それを購入の主観確率が上回ったときそのときのみ購入意図者になるのだとしよう。[この節、話の建付けがよくわからないのだけれど、どうやら各世帯は主観確率を分布じゃなくてスカラーとして持っているということらしい]
購入の主観確率を$Q$、世帯を通じた$Q$の分布の密度関数[そうは書いてないけどそういう意味だと思う]を$f(Q)$とする。$C_i$が変動しないなら
$1-p=\int_{0}^{C_i} f(Q) dQ$
$p=\int_{C_i}^1 f(Q) dQ$
である。実際には$C_i$は世帯間で変動するだろうけれど。
さて、以上の仮定の下で、
- 母購入率の最良の予測子は購入意図者率$p$ではなくて購入確率の平均である。
- 対象者は購入確率と閾値を比較しているわけで、これは購入確率をそのまま訊かれるよりも難しい課題である。これに答えられるのなら購入確率だって答えられるはずである[←そ、そうかなあ？？ 素朴心理学というかなんというか...]。
- 意図調査は、カットオフより下の世帯における購入確率の分布についてなにも示してくれていない。
[...あれこれ書いてあるけど文脈がつかみづらいので省略して...] というわけで、購買行動の予測のためには、購入確率をそのまま訊ねたほうがよいのではなかろうか。
5. 正確性の向上を測る基準
ほんとは「意図調査よりも確率調査のほうが購入率の時系列的分散をよく説明する」ということが示せるといいんだけど、そんな長い時系列はちょっと手に入らないので、横断で調べることにする。
[そのほか、ああでもないこうでもないといろいろ書いてあるけど全部省略。あー、なんかもうイライラしてきた]
6. 実験
6.1 貯蓄実験
[いきなり「これはあきらかに失敗した実験で...」という衝撃の紹介から始まり、結果が載ってない。学部の実験演習のレポートか。パス]
6.2 デトロイト実験
1963年、米センサス局がデトロイト近郊の192世帯を対象に行った(これは次に出てくるQSI実験のパイロットだった)。
設問は"During the next (6,12,24) months, that is, between now and ____, what do you think the chances are that you or someone in the household will by a ____?"。11件法、ラベルは一番上が"10 Absolutely certain to buy", 一番下が"0 Absolutely no chance"。
回答分布をみると、時期を問わず"5 Abount even chance (50-50)"の回答率が大きく、0, 10も大きかった。
5が高くなるのはラベルに"50-50"と書いてあったからではないか。また、対象者が判断できない時にインタビュアーが5を選ぶように示唆したのではないか。
その後半年の自動車購入有無と突き合わせると、10を選んだ人では8割以上、0を選んだ人は1割以下が自動車を購入していた。回答の平均は0.17, 購入率は0.22[←えええ？！ そんな高いの？]。だいたい当たっている。
6.3 QSI実験
1964年、米センサス局によるQuarterly Survey of Intentions。世帯数は16000強。確率調査と意図調査のどっちがいいかを比べるため、約800世帯をランダムに抜き出し、数日後に再調査を掛けた。
設問は"Taking everything into account, what are the prospects that some member of your family will buy a ____ sometime during the next ____ months; between now and ____?"。
11件法。ラベルは上から順に、
10 Certain, practically certain (99 in 100)
9 Almost sure (9 in 10)
8 Very probable (8 in 10)
7 Probable (7 in 10)
6 Good possibility (6 in 10)
5 Fairly good possibility (5 in 10)
4 Fair possibility (4 in 10)
3 Some possibility (3 in 10)
2 Slight possibility (2 in 10)
1 Very slight possibility (1 in 10)
0 No chance, almost no chance (0 in 10)
[説明を見落としたのかもしれないけど、たぶんこういうことであろう。本調査では、自動車とかについて購入意向を5件法で訊いた。ラベルは"definite", "probable", "maybe", "don't know", "no"。再調査でさらに購入確率も訊いた。で、その後の実際の購入有無を追跡した]
[検証したい仮説についてごちゃごちゃ書いてはるけど、省略...]
結果。
デトロイト実験と異なり、購入確率5の山はうまいこと消えてくれた。購入確率の平均を購入率と比べると、だいたい同じだが、自動車ではちょっと低めであった。
購入確率と購入意図でクロスすると、回答はすごくずれていて、意向が"no"や"don't know"である回答だけみても、確率は結構散らばった。
購入意図よりも購入確率のほうが、実際の購入率と関連した。特に意図が低い人において関連が高かった。[信じられないくらいにダラダラした説明が続く...大幅に省略]
多変量解析すると... [10pにわたって延々説明している。もうめっちゃイライラしてきた！スキップ！スキップだ！！]
7. 結論
[ふつう論文の最後の節の頭では、この研究でわかったことをまとめたりしませんか？ この先生にはそういう気がなくて、いきなり「本研究の限界」みたいな話に突入するのだ]
購入確率回答とその後の購入行動の関係を攪乱する諸変数の役割については良くわからない...[略]
購入確率を訊く際の最良の設問形式については今後の課題だ...[略]
云々, 云々, 云々, ...
。。。読み終えたぞ！ あーもう！ もっのすごくイライラした！ だれかタイムマシンで遡って、この先生に「もっと簡潔に書け」っていってやって！！
まあいいや、中身について考えよう。ろくに読んでいないのになんですけど。
この論文は、5件法で購入意向を訊くよりも11件法で購入確率を訊いたほうがのちの購買行動と関連しましたという内容だけど、まず気になるのは、それは意向と確率の違いそのものによるのか、それとも回答カテゴリが違うせいなのか、というあたりである。早い話、意向の尺度を改善すれば、購買行動との関連性はもっと高くなるんじゃないかと。この点については、たしかもっと精密な実験研究があったような気がする。読んでないけど。
購買行動に対する予測的妥当性じゃなくて、他の観点からみるとどうなっているんだろう、という点も気になる。再検査信頼性とか、他の変数との関連性とか。マーケティングリサーチの場合だと、たしかに購入意向を訊いてはいるが、突き詰めていえば購買行動を予測したいというより、カテゴリやブランドに対する現在の態度・選好を知りたいのだ、という場合も少なくない(どうせ実際の購買は市場環境に左右されるわけだから)。
いや、そんなことよりですね... とにかく、論文の書き方が現代と全然ちがうので困惑した。なんなんだろう、このエッセイ風のまとまりのない文章は。しかも、なぜこんな研究がJASAに載ってるの？ 統計学じゃないじゃんか。
というわけで、非常に面食らったしイライラしたわけだが、こうしてみるとアカデミック・ライティングの作法というのは意外に時代に制約されたものなのかもしれない。ということは、50年後の人々は、2010年代に書かれた論文を読んで大変に面食らい、イライラするのかもしれない。えっ、サマリー動画がついてないの？！全部文章で読むのってめんどくさいなあ、とか。えっ、政府に感謝する文言がないの？！どうやって研究費取ったんだろうか、とか。