PRML1.33～1.37(期待値) – PRMLで出てくる数式を掘り下げる

本シリーズの一覧はこちら
前回はこちら

期待値

$$ \mathbb{E}[f] = \sum_xp(x)f(x) \tag{1.33} $$
$$ \mathbb{E}[f] = \int p(x)f(x)dx \tag{1.34} $$

(「パターン認識と機械学習 上」 P.19)

これは期待値の式ですね。
1.33が離散分布に対しての、1.34は確率密度に対してのものです。

ここは特に掘り下げる必要もないので次に行きます。

$$ \mathbb{E}[f] \simeq \frac{1}{N}\sum_{n=1}^Nf(x_n) \tag{1.35} $$

この式は期待値の近似です。
\( \simeq \)は「近似する」を意味します。

期待値が確率×値の総和であるなら、値の相加平均でもいいんじゃねえの？という話です。
ただし、サンプリング数\( N \)が相当多くないといけません。

$$ \mathbb{E}_x[f(x,y)] \tag{1.36} $$

こちらは多変数関数のxについて期待値を算出することを表す式です。
\( \mathbb{E}_x \)と添字\( _x \)がついていることで\( x \)についての期待値だということがわかります。

条件付き期待値

条件付き確率\( p(x|y) \)にも同様に期待値を考えることができ、下記のようになります。

$$ \mathbb{E}_x[f|y]=\sum_xp(x|y)f(x) \tag{1.37} $$

式(1.33)の確率部分が条件付き確率になっただけですね。