PRML1.12~1.13(ベイズの定理) – PRMLで出てくる数式を掘り下げる

本シリーズの一覧はこちら
前回はこちら

ベイズの定理

$$ p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)} \tag{1.12} $$
「パターン認識と機械学習 上」P.14「1.2 確率論」より

この式を導いてみましょう。

ベースは式(1.11)(確率の乗法定理)です。

$$ p(X,Y)=p(Y|X)p(X) \tag{1.11} $$

これの両辺を交換して\( p(X) \)で割ります。

$$ p(Y|X)=\frac{p(X,Y)}{p(X)} \tag{1.11′} $$

この式の\( p(X,Y) \)に式(1.11)の逆、すなわち

$$ p(X,Y)=p(X|Y)p(Y) \tag{1.11”} $$

を代入すると式(1.12)が得られます。

このベイズの定理はパターン認識や機械学習において中心的な役割を果たすんだそうです。
へー。

さらに、確率の加法定理

$$ p(X)=\sum_{Y}p(X,Y) \tag{1.10} $$

に式(1.11”)を代入すると、

$$ p(X)=\sum_{Y}p(X|Y)p(Y) \tag{1.13} $$

式(1.12)の分母であるp(X)が分子に現れる量で表すことができました。

この式の次のPRMLの説明ですが、

ベイズの定理の分母は(1.12)式の左辺の条件付き確率をすべてのYについて和を取ったものが1になることを保証するための規格化(正規化)定数とみなすことができる。

この一文が全く理解できない。

のでちょっと分解してみましょう。

上記説明に式(1.12)の各項を代入してみます。

\( p(X) \)は\( p(Y|X) \)のすべての\( Y \)について和を取ったものが1になることを保証するための規格化(正規化)定数とみなすことができる。

条件付き確率\( p(Y|X) \)は\( X \)が発生した前提で\( Y \)の発生する確率なので、
\( p(X) \)の要素を排除するために\( p(X) \)で割るということでしょうか。

うーん、すでに文系脳の限界が来てる…


投稿日

カテゴリー:

投稿者:

コメント

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください