Metropolisアルゴリズム

まだキモはわかっていないが、A-Rアルゴリズムからの発展系みたいなもんのよう。また、Importance samplingはMetropolis Hastingsに対応するようだ。

確率密度関数π(x)からサンプリングしたい。ここで対称サンプラーq(x,y)=q(y,x)を利用する。

1. 初期値X₀を決める。
2. q(Y|X₀)からサンプルYを取りだす。
3. u~U[0,1]を発生。
4. u < π(Y)/π(X₀)ならX₁=Y、そうでなければX₁=X₀

この操作を繰り返して得たX₁,..,X_nはπ(x)からのサンプルである。

u < \frac{\pi(Y)}{\pi(X_0)}

を基準としているが、これが

1 < \frac{\pi(Y)}{\pi(X_0)}

なら逐次改良法となる。メトロポリス法では、かならずしも新しいモデルが古いモデルより確率が高くなくても、確率uで採用するという方法である。

local maximaから逃れられる方法であることは理解できるが・・・