連続変数\(z\)について、分布$$ p(z) = \frac{1}{Z} f(z)$$ を仮定する。\(f(z)\)はわかってるけど、正規化定数\(Z = \int f(z)dz\)がわからないとしよう。この分布を正規分布で近似したい。さあ、どうしたらいいでしょうか。
まずは\(p(z)\)のモード\(z_0\)をみつける。どうにかしてみつける。実際には\(p(z)\)は多峰かもしれないけどな。とにかく、それらしいのをみつけろ。どうやってみつけるかは知らんけど。
次に、\(z_0\)を中心にした\(\log f(z)\)のテイラー展開を考える。テイラー展開、覚えてますか？ 私は覚えてない。よし、おさらいだ。
\(n\)回微分可能な関数\(g(x)\)があるとしよう。\(a\)を定数として、下式が成り立つ(テイラーの公式)。$$ g(x) = g(a) + \frac{g'(a)}{1!} (x-a) + \frac{g^{\prime\prime}(a)}{2!}(x-a)^2 + \cdots + \frac{g^{(n-1)}(a)}{(n-1)!}(x-a)^{n-1} + R_n(x)$$ 剰余項\(R_n(x)\)について文系の私に説明させるならば、えーと、なんか小さい値になるんじゃないでしょうか。知らんけど。
本題に戻ると、\(g(z) = \log f(z)\)として、$$ g(z) \approx g(z_0) + g'(z_0)(z-z_0) + \frac{1}{2} g^{\prime\prime}(z_0)(z-z_0)^2 $$ 第2項について考えると、\(g'(z_0) = \{\log f(z_0)\}^\prime = \frac{f'(z_0)}{f(z_0)} \)で、\(z_0\)は局所最大なんだから結局0である。第3項、\(g^{\prime\prime}(z_0) \)がどうなるか知らないが、これを\(-A\)と置こう。すると$$ \log f(z) \approx \log f(z_0) – \frac{1}{2} A(z – z_0)^2$$ 指数をとって $$ f(z) \approx f(z_0) \exp \left( -\frac{A}{2} (z – z_0)^2 \right) $$ 指数関数の内側をみると、平均\(z_0\)、分散\(1/A\)の正規分布と似てますね。そこで\(p(z)\)を\(N(z_0, \frac{1}{A})\)、すなわち密度関数 $$ q(z) = \left( \frac{A}{2 \pi} \right) ^{1/2} \exp \left( – \frac{A}{2} (z – z_0)^2 \right) $$ で近似するわけ。
これをラプラス近似という。これがうまくいくのは、\(A\)が正のとき、つまり点\(z_0\)での\(f(z)\)の2階微分が負になる場合だけである。
今度は、\(z\)が多変量の場合について考えよう。次元数を\(M\)とする。
まず、勾配 \(\nabla f(\mathbf{z})\)が\(\mathbf{0}\)となるような定常点\(\mathbf{z}_0\)をみつける。そのまわりで\(\log f(\mathbf{z})\)を展開して指数を取ると$$ f(\mathbf{z}) \approx f(z_0) \exp \left( -\frac{1}{2}(\mathbf{z} – \mathbf{z}_0)^\top A (\mathbf{z} – \mathbf{z}_0) \right)$$ となるので、密度関数$$ q(\mathbf{z}) = \frac{|A|^{1/2}}{(2\pi)^{M/2}} \exp \left( -\frac{1}{2}(\mathbf{z} – \mathbf{z}_0)^\top A (\mathbf{z} – \mathbf{z}_0) \right) $$ で近似する。つまり、\(MVN(\mathbf{z}_0, A^{-1}) \)で近似するわけだ。精度行列は、式で書くと$$ A = \left. -\nabla \nabla \log f(\mathbf{z}) \right|_{\mathbf{z} = \mathbf{z}_0} $$ というわけわからん式になるが、まあいいや。とにかく、\(\mathbf{z}_0\)が局所最大であって、局所最小とか鞍点でなければ、うまく近似できるのだそうである。
以上、PRMLの4.4節からメモ。
INLAについての論文(Rue, Martino, Chopin, 2009)を読んでいて、なぜINLAの理屈がこんなにも難しく感じられるのか、その原因がよくわかった。学力不足、わが圧倒的な学力不足である。というわけで一歩戻って、そもそもラプラス近似ってなんなの、と調べてみた次第である。勤務先の本棚で眠っていたPRMLにちゃんと説明がありました。やれやれ、道は遠いね…