PRML1.6～1.11(加法定理・乗法定理) – PRMLで出てくる数式を掘り下げる

本シリーズの一覧はこちら
前回はこちら

確率の加法定理

$$ p(X=x_i)=\frac{c_i}{N} \tag{1.6} $$

こちらは、前回の式

$$ p(X=x_i,Y=y_j)=\frac{n_{ij}}{N} \tag{1.5} $$

のうち、$ Y $の起こる確率を無関係に、$ X $の起こる確率だけを表したものです。
$ x_i $の発生する場合の数を$ c_i $とします。

すると、式(1.6)は式(1.5)の$ Y $の発生する場合を$ y_1からy_j $まで足し合わせてものになるので、

$$ p(X=x_i)=\sum_{j=1}^{L}p(X=x_i,Y=y_j) \tag{1.7} $$

と表すこともできます。
これが確率の加法定理(sum rule)です。

また、$ X=x_i $が発生したという条件の中で$ Y=y_j $が発生する確率を

$$ p(Y=y_j | X=x_i)=\frac{n_{ij}}{c_i} \tag{1.8} $$

と表し、これを条件付き確率(conditional probability)と言います。
式(1.5)では全事象が$ N $でしたが、条件付き確率では$ X=x_i $がすでに発生しているので全事象が$ c_i $に限定されていますね。

式(1.5),(1.6),(1.8)を組み合わせると、$ X,Y $の同時確率は次のように表せます。

$$
\begin{align}
p(X=x_i, Y=y_j)&=\frac{n_{ij}}{N}=\frac{n_{ij}}{c_i}.\frac{c_i}{N}\\
&=p(Y=y_j | X=x_i)p(X=x_i) \tag{1.9}
\end{align}
$$

$ X,Y $の同時確率は$ p(X=x_i) $が起きる確率と$ X=x_i $が発生した前提での$ p(Y=y_j) $の掛け算、
ということでこれを確率の乗法定理といいます。

これを$ X=x_i $という表現を省いて　簡潔に書くと加法定理は

$$ p(X)=\sum_{Y}p(X,Y) \tag{1.10} $$

となります。
$ X,Y $の同時確率のうち$ Y $を全部足し合わせたものが$ p(X) $という意味です。

乗法定理は

$$ p(X,Y)=p(Y|X)p(X) \tag{1.11} $$

となります。

ここらへんは前回も含め図1.10を見てみるとわかりやすいと思います。