PRML1.6~1.11(加法定理・乗法定理) – PRMLで出てくる数式を掘り下げる

機械学習

本シリーズの一覧はこちら
前回はこちら

確率の加法定理

$$ p(X=x_i)=\frac{c_i}{N} \tag{1.6} $$

「パターン認識と機械学習 上」P.13「1.2 確率論」より

こちらは、前回の式

$$ p(X=x_i,Y=y_j)=\frac{n_{ij}}{N} \tag{1.5} $$

のうち、\( Y \)の起こる確率を無関係に、\( X \)の起こる確率だけを表したものです。
\( x_i \)の発生する場合の数を\( c_i \)とします。

すると、式(1.6)は式(1.5)の\( Y \)の発生する場合を\( y_1からy_j \)まで足し合わせてものになるので、

$$ p(X=x_i)=\sum_{j=1}^{L}p(X=x_i,Y=y_j) \tag{1.7} $$

と表すこともできます。
これが確率の加法定理(sum rule)です。

条件付き確率

また、\( X=x_i \)が発生したという条件の中で\( Y=y_j \)が発生する確率を

$$ p(Y=y_j | X=x_i)=\frac{n_{ij}}{c_i} \tag{1.8} $$

と表し、これを条件付き確率(conditional probability)と言います。
式(1.5)では全事象が\( N \)でしたが、条件付き確率では\( X=x_i \)がすでに発生しているので全事象が\( c_i \)に限定されていますね。

確率の乗法定理

式(1.5),(1.6),(1.8)を組み合わせると、\( X,Y \)の同時確率は次のように表せます。

$$
\begin{align}
p(X=x_i, Y=y_j)&=\frac{n_{ij}}{N}=\frac{n_{ij}}{c_i}.\frac{c_i}{N}\\
&=p(Y=y_j | X=x_i)p(X=x_i) \tag{1.9}
\end{align}
$$

\( X,Y \)の同時確率は\( p(X=x_i) \)が起きる確率と\( X=x_i \)が発生した前提での\( p(Y=y_j) \)の掛け算、
ということでこれを確率の乗法定理といいます。

簡潔記法

これを\( X=x_i \)という表現を省いて  簡潔に書くと加法定理は

$$ p(X)=\sum_{Y}p(X,Y) \tag{1.10} $$

となります。
\( X,Y \)の同時確率のうち\( Y \)を全部足し合わせたものが\( p(X) \)という意味です。

乗法定理は

$$ p(X,Y)=p(Y|X)p(X) \tag{1.11} $$

となります。

ここらへんは前回も含め図1.10を見てみるとわかりやすいと思います。

コメント

タイトルとURLをコピーしました