« 読了：Jain, Murty, Flynn (1999) クラスタリング手法レビュー | メイン | 覚え書き：価格調査の方法 »
2018年5月 5日 (土)
赤穂昭太郎 (2013) 正準相関分析入門：複数種類の観測からの共通情報抽出法. 日本神経回路学会誌, 20(2), 62-72.
仕事のなかで正準相関みたいな問題が出てきちゃったので、勉強の足しになるかと思って読んだ。こういうの、昔から苦手分野である。まあ得意分野なんてどこにもないけどな。
あれこれ「へーっ」という話がありましたが、ひとつだけメモ。
ある測定で$m$次元ベクトル$x$と$n$次元ベクトル$y$のペアが観測されるとする(いずれも標本平均を0とする)。それぞれを線形変換して得られる
$u(x) = a^{T}x$
$v(x) = b^{T}y$
について、その相関を最大化したい。これは一般化固有値問題に帰着する(要は解けるってことですね先生)。最大で$min(m,n)$個の成分がとれる。これが線形正準相関分析。
さて、$u(x), v(x)$を非線形化したい。
カーネル関数を$k_x(x, x')$とする。なんでもいいけど、ガウスカーネルなら
$k_x(x, x') = \exp(-||x-x'||^2/2\sigma^2)$
である。ある観測ベクトル$x_i$について
$\phi_x(x_i) = (k_x(x_i, x_1), k_x(x_i, x_2), \ldots, k_x(x_i, x_n))^T$
を求める。同様に$\phi_y(y_i)$も求める。それぞれから平均を引き、それを$x, y$だと思ってやおら線形正準相関分析をやる。実際にはオーバーフィットしちゃうので正則化項をいれる(残念ながら、ここで人手によるパラメータ調整が必要になる)。
$u(x) = a^{T} \phi_x(x)$
$v(x) = b^{T} \phi_y(y)$
というわけで、非線形な特徴$u(x), v(y)$が手に入ったことになる。
ところが。これとは別の非線形化アプローチがある。
実は、$(x, y)$の同時確率密度関数$p(x, y)$が既知ならば、$u(x), v(x)$は連立方程式
$\int \{p(x|y)-p(x)\} u(x) dx = \lambda v(y)$
$\int \{p(y|x)-p(y)\} v(x) dx = \lambda u(y)$
の解になるのだそうだ。実際には$p(x, y)$は未知なので、実用性は低いんだけど、著者の先生いわく、「xやyが実数ベクトルではなくアンケートデータのような質的データの場合の解析法である数量化III類は、この定式化から理解することが容易となる」とのこと。へええ、そうなんですか。
。。。いやー、もうね、嫌になっちゃいますね、勉強しないといけないことが多すぎて。
そういえば、正準相関とPLS回帰ってどう違うんだろう。相関を最大化するか、共分散を最大化するかという違いに過ぎないのだろうか？ 疲れちゃったのでいまは考えたくないけど。
論文：データ解析(2018-) - 読了：赤穂(2013) 正準相関分析入門