PRML1.29～1.32(同時分布) – PRMLで出てくる数式を掘り下げる

本シリーズの一覧はこちら
前回はこちら

同時分布

複数の連続変数\( x_1,….,x_D \)があり、この確率変数のグループにたいしてその発生する度合いを記述したものを同時分布といいます。

連続変数をまとめてベクトル\( \boldsymbol{X} \)で表すと同時分布は\( p(\boldsymbol{X}) \)で表され、
\( \boldsymbol{X} \)が\( \boldsymbol{X} \)を含む無限小の体積要素\( \delta\boldsymbol{X} \)に入る確率は\( p(\boldsymbol{X})\delta\boldsymbol{X} \)で与えられます。
（ここなんで体積要素なのか不明。面積要素じゃないの？）

この多変数確率密度は

$$ P(\boldsymbol{X}) \geq 0 \tag{1.29} $$
$$ \int P(\boldsymbol{X})dx = 1 \tag{1.30} $$

「パターン認識と機械学習 上」 P.18

の2つを満たす必要があります。

加法定理・乗法定理・ベイズの定理

ここで学んだ確率の加法定理・乗法定理はこの連続変数や確率密度にも適用できます。その形は

加法定理

$$ p(X)=\sum_{Y}p(X,Y) \tag{1.10} $$

は確率密度に対しては

$$ P(x) = \int P(x,y)dy \tag{1.31} $$

と表記できます。
離散型では総和で表記していたものが確率密度のため積分で表されます。

乗法定理

$$ p(X,Y)=p(Y|X)p(X) \tag{1.11} $$

は確率密度に対しては

$$ P(x,y) = p(y|x)p(x) \tag{1.32} $$

と同じ形で表記できます。