バイアス-バリアンス分解（+ノイズ）とは バイアスーバリアンス分解は回帰の二乗誤差をバイアス（モデルの表現力不足）とバリアンス（過学習（偶然を必然と勘違いすること）による悪影響）に分解するものです。 これ自身は数学的な帰結ではあるものの、実際…

概要 前回の記事では、繰り込まれた事後分布による平均操作を定義して、やについて求めて行きました。 この記事では、汎化損失と経験損失の展開をキュムラントより求めた後、汎関数分散と正規確率過程の関係を求めて、WAICを導出します。 キュムラント母関数…

概要 本記事では、事後分布の微小積分をサンプル数で収束する部分とサンプリングによる確率的変動で収束する部分に分かれた形に変形します。この様に分けることで、事後分布で期待値を計算する際に、分母と分子でサンプル数で収束する部分同士でキャンセルさ…

概要 前回の記事で、経験誤差の標準形を導きました。これを用いて、分配関数（事後微小積分）を求めるのですが、そのために一旦、分配関数の主要部分を求めておきます。内容としては、「ベイズ統計の理論と方法」のp58-62に相当します。 正規化された分配関…

概要 この記事では、WAICの導出に出て来る、経験誤差の標準形の導出について確認して行きたいと思います。 具体的には前回記事の 経験誤差関数を $$ nK_{n}(w)=n{u^{2k} - \sqrt{n}u^{k}\xi_{n}(u)}, \quad \xi_{n}(u) = \frac{1}{\sqrt{n}}\sum^{n}_{i=1}{u…