PRML1.3(平均二乗平方根誤差) – PRMLで出てくる数式を掘り下げる

本シリーズの一覧はこちら
前回はこちら

今回の式を見ていきましょう。

$$ E_{RMS}=\sqrt{2E(\bf w \rm*)/N} \tag{1.3} $$

「パターン認識と機械学習 上」P.7「1.1 例:多項式曲線フィッティング」より

この式は平均二乗平方根誤差の式ですね。

英語で書くとroot-mean-square errorなので、\( E_{RMS} \)と表記します。

最適化されたwがw*

まずは\( E(\bf w \rm*) \)の内容を確認してみましょう。

前回定義した最小二乗誤差\( E(\bf w \rm) \)は機械学習のモデルの性能を表す指標で、
この値が最も小さくなるよう最適化されたww*と定義します。

その最適化されたパラメータを用いて計算された最小二乗誤差が\( E(\bf w \rm*) \)ということになります。

最小二乗誤差の逆を行う

平均二乗平方根誤差では最適化された最小二乗誤差\( E(\bf w \rm*) \)をN分の2倍した上で平方根を算出しています。

これはまさに最小二乗誤差の逆の計算です。

最小二乗誤差ではそれぞれの観測点における誤差を

  • 二乗して
  • N個足して
  • 2分の1する

ことで算出していますが、
平均二乗平方根誤差では最小二乗誤差の値を

  • 2倍して
  • N分の1して
  • 平方根を求める

ことで算出しています。

N分の1しているのでデータ集合の数にかかわらず値を算出できるため、
PRMLでも紹介しているように訓練データとテストデータのようなデータ数が異なる場合でも
性能が乖離していないかを図るのに利用することができるのです。

PRMLの図1.5はそれを如実に示していますね。

さて、\( E_{RMS} \)の有用性がわかったところで次に行きましょう。


投稿日

カテゴリー:

投稿者:

コメント

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください