ベイズの定理
$$ p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)} \tag{1.12} $$
「パターン認識と機械学習 上」P.14「1.2 確率論」より
この式を導いてみましょう。
ベースは式(1.11)(確率の乗法定理)です。
$$ p(X,Y)=p(Y|X)p(X) \tag{1.11} $$
これの両辺を交換して\( p(X) \)で割ります。
$$ p(Y|X)=\frac{p(X,Y)}{p(X)} \tag{1.11′} $$
この式の\( p(X,Y) \)に式(1.11)の逆、すなわち
$$ p(X,Y)=p(X|Y)p(Y) \tag{1.11”} $$
を代入すると式(1.12)が得られます。
このベイズの定理はパターン認識や機械学習において中心的な役割を果たすんだそうです。
へー。
さらに、確率の加法定理
$$ p(X)=\sum_{Y}p(X,Y) \tag{1.10} $$
に式(1.11”)を代入すると、
$$ p(X)=\sum_{Y}p(X|Y)p(Y) \tag{1.13} $$
式(1.12)の分母であるp(X)が分子に現れる量で表すことができました。
この式の次のPRMLの説明ですが、
ベイズの定理の分母は(1.12)式の左辺の条件付き確率をすべてのYについて和を取ったものが1になることを保証するための規格化（正規化）定数とみなすことができる。
この一文が全く理解できない。
のでちょっと分解してみましょう。
上記説明に式(1.12)の各項を代入してみます。
\( p(X) \)は\( p(Y|X) \)のすべての\( Y \)について和を取ったものが1になることを保証するための規格化（正規化）定数とみなすことができる。
条件付き確率\( p(Y|X) \)は\( X \)が発生した前提で\( Y \)の発生する確率なので、
\( p(X) \)の要素を排除するために\( p(X) \)で割るということでしょうか。
うーん、すでに文系脳の限界が来てる…
コメント