DXってやっぱりDが重要じゃない？という考察

この文章は、草稿段階の記事になります。 コメント等いただけると考察を深められると思うので幸いです。

---

目的

2021年現在、DXが謳われて久しいところですが、その中で、DX人材には

1. ITスキル必要派

2. ITスキルより企画力や業務変革力派

といった意見がが入り乱れている事態かなと感じています。 デジ庁の人事とかの議論もそんな感じですよね。。。

これら言説の流れを見ていくと、ML・DNNの流行に伴いDXが謳われ出した時は、1が多かったものの、その後やっぱり2の方が重要だよねといった議論に流れている感が個人的にあります。

この議論の流れ自体は、そんなに珍しかったり愚かだったりすることではなく、古くからIT界隈では1と2の両立が目指されてきたわけで、経産省（傘下のIPA）が所管するIT系の国家資格（笑）の体系を見ても、基本＆応用情報技術者の次のステップとして、ITストラテジストが設置されているところからしても、さもありなんなところかなと感じています。

一方で、人材のリスキリングの文脈で見るとプログラミングといったハードスキルを中途半端に身につけてもプログラマーとして喰える訳ではないので、

「（本音では1は無理だから）2だよ！これだから現場とビジネスを知らない素人は困る！ぷんスカ！」

という主張もよくあるように思います。

（ここら辺の主張はコンサルに多いですかね。こういった主張の方が客（ITについては素人の大企業の役員）が楽＆喜ぶので、そういうコンサルが継続受注＆社内で出世して、それを見た周囲が真似るんでしょうけど。。。 あと単にコンサル本人の嗜好として、技術者を下に見ているケースも多いと思います。技術者を心からリスペクトしていたら、技術者になろうとする人が多いでしょう。）

（通常は企画人員よりも実行部隊の方が必要人数が多くなるので、企画者を大量に用意しても、企画だらけで何もできないと思うんですが。。。もしかしてコンサルはそれの実行部分を受注して、一儲けしようと企んでいるとかですかね。。。）

（ただ、「高い山ほど裾野が広い」という言葉にはなぜか説得力がありますよね。本当かどうかはデータで検証したいところですが。（相関はあっても、因果は逆というのも想定できるので。））

私自身は総研系コンサルでIT部門の経営管理コンサルに従事した後、AIベンチャー→多摩川辺りでDSとして勤めているので、その立場から、「やっぱり、1が大事でしょ！」と言いたいので、この記事はそれを目的に書かれたものになります。

（本当はここら辺の議論をしようとすると、歴史研究的に言説の時系列や主義主張の体系化＆定義の精緻化みたいのが必要なんですけど、私には無理なので誰かやってくれませんかね。。。というかこういった研究をする経営学者・社会学者・文学者・MOTってないんですんかね？だいぶ実りの多い領域の様に思うのですが。。。人文系もその存在価値を「リベラルアーツ」だけで主張しないで、ここら辺の技術言説の興亡の研究でサクッと事例を作っちゃえばいいのに。。。）

主張

「DX人材にはITスキルや開発（プログラミング）・運用経験が必要である」

理由

• DXを進めると、業務分掌（要は役割分担）の再・新規構築が必要になる。業務分掌の再・新規構築に当たっては新業務の内実・特性を理解して分掌の検討をするのが求められ、既存の業務分掌を超えて企画側（分掌検討側）が業務を理解することが必要である。 （既存の業務の分掌のままIT化すると、DXというより「単なるIT化」になりがち。）

• 業務分掌の再・新規構築に当たっては、（既存）業務自体に詳しいことは必須であるが、より高品質な業務分掌を検討するには、ツールであるITの特性についても詳しい必要である。ITの特性を生かした分掌を作ることこそがDXのイノベーション感（差別化要因）の根幹である。

• ITの理解を深める方法は多種あるが、現在の多くのエキスパートが経験した代表的な学習方法として、「実際にITスキルを身につけITの開発・運用を経験する」が挙げられる。

補足

• 現状のユーザー系企業のシステム化の分掌は、「利用側は業務に詳しければ良い。IT部分はベンダーに丸投げ。」と想定しています。なのでDXのためには現状のシステム開発（「単なるIT化」）の分掌（企画は業務に詳しければ良い。IT部分はベンダー任せ）を超えて、ITの理解を深める必要があると主張したいです。

• 想定される反論として、社外のITの専門家を検討チームに含めれば良いというものがあると思います。ただ社内にITに詳しい人がいないと業務分掌とITの高度なすり合わせが困難になるので（業務と社外専門家間の連携すら困難になるので）、社内にITに詳しい人がいるべきだと思います。その詳しい人のレベル感として、「簡単な業務改善ツールくらい自力で開発・運用できる必要ありませんか？」というのが主張です。 （あと社内でも有望株と思われる（超優秀な）企画人材の方々が、高々年収数百万円の派遣SEの仕事が「能力的に無理です」ということはないですよね。。。）

• 「GAFAとかでも、ビジネス人材はITそんなに詳しくないよ」という論もあると思いますが、それはGAFAとかだと「ITの特性を生かした業務分掌」の構築ノウハウが文化や暗黙知として組織に浸透しているので、ビジネス人材がITに詳しくなくても成り立っているのだと思います。（もしかしたら、GAFAのビジネス人材はそんな文化や暗黙知があることにすら、気づいてないのかも知れませんが。）

• もし、DXで本当にXが本質なら、みんなタピオカ屋や唐揚げ屋をやって、儲かんなくなったらサクッと辞めれば良いんですよ。すごく優秀なXですよ。でも、DX感ないですよね。

• 「業務分掌の失敗事例を出せよ！」となると思います。いい例思いつくまで少々お待ちください。

(「データ分析用にtfやStan等のライブラリを使いたいにも関わらず、長大なセキュリティアセスが必要になる」や、「みんなが適当にゴミデータを突っ込んだ、使われない＆保守費は高額なDataLake」、「デジタルサービスの利用者数増加には新機能の開発が必要だけど、leanやPMFを知らずに初期開発で予算使い切っちゃった」)

バイアスーバリアンス（＋ノイズ分解）を導出する。（初歩なんだけど、誤解していたという次第。）

バイアス-バリアンス分解（+ノイズ）とは

バイアスーバリアンス分解は回帰の二乗誤差をバイアス（モデルの表現力不足）とバリアンス（過学習（偶然を必然と勘違いすること）による悪影響）に分解するものです。

これ自身は数学的な帰結ではあるものの、実際に誤差を分解する使い方はしないで、観念的に利用するのがメインの使い方になります。例えば、バイアス-バリアンスのトレードオフを示して、モデル選択や改善時にモデルの表現能力を調整したり、データ数を増やすか否かの判断を行うための（素人向けの）論拠とするために使うといった感じになります。まあ、機械学習や統計学界隈では基本的で知ってて当然といった内容なので、通常の議論ではわざわざ話にするようなものでもないのです。

ってな感じで、この分解の証明を初心者向け勉強会でしようとしたところ、意外と手間取り、色々とwebを探しても納得いく証明がなく苦労しました。（なんというか、分かってるのか？、勉強がてらに写経しているのか？といったブログが検索の上位にくる感じで苦労しました。Googleの技術力向上に期待笑）

結局、下記の東大の教科書の証明を確認したところ、「バイアスーバリアンス分解」ではなく、「バイアスーバリアンスーノイズ分解」になっていて、意外や意外という感じだったので、記事にしようと思った訳です。（実は下記の教科書を丁度2年くらい前に読んだはずなのに、完全に忘れていました。笑）

東京大学工学教程 情報工学 機械学習

https://www.amazon.co.jp/dp/4621089919

バイアス-バリアンス-ノイズ分解

説明変数と対応する目的変数について考えます。（ここで説明変数がであった時の目的変数をと表記するとします。また、説明変数も目的変数も、現実世界からサンプルして取得するため、確率変数であるとします。）

ここで二乗誤差の評価を行う予測モデルを考えます。学習に用いたデータを用いて学習を行い、について予測するとすると予測結果はと表すとします。

ここで、二乗誤差 \begin{align} E_{D}E_{x}E_{t_{x}} \left[ \left( t_{x} - y(x , D) \right)^{2} \right] \end{align} について考えます。

\begin{align} E_{D}E_{x}E_{t_{x}} \left[ \left( t_{x} - y(x , D) \right)^{2} \right] = & E_{x}E_{D}E_{t_{x}} \left[ \left( (t_{x} - E_{t_{x}}[t_{x}]) - (y(x , D) - E_{t_{x}}[t_{x}]) \right)^{2} \right]\\ = & E_{x}E_{D}E_{t_{x}} \left[ (t_{x} - E_{t_{x}}[t_{x}])^{2} - (y(x , D) - E_{t_{x}}[t_{x}])^{2} \right]\\ & + E_{x}E_{D}E_{t_{x}} \left[2(t_{x} - E_{t_{x}}[t_{x}]) \cdot (y(x , D) - E_{t_{x}}[t_{x}]) \right]\\ \end{align} とできますが、第二項は \begin{align} E_{x}E_{D}E_{t_{x}} \left[2(t_{x} - E_{t_{x}}[t_{x}]) \cdot (y(x , D) - E_{t_{x}}[t_{x}]) \right] &= 2E_{t_{x}} \left[(t_{x} - E_{t_{x}}[t_{x}]) \right] \cdot E_{x}E_{D} \left[(y(x , D) - E_{t_{x}}[t_{x}]) \right]\\ &= 2(E_{t_{x}}[t_{x}] - E_{t_{x}}[t_{x}]) \cdot E_{x}E_{D} \left[(y(x , D) - E_{t_{x}}[t_{x}]) \right] \\ &= 2E_{x}E_{D}\left[(0) \right] \cdot E_{x}E_{D} \left[(y(x , D) - E_{t_{x}}[t_{x}]) \right]\\ &= 0 \end{align} となるため、 \begin{align} E_{D}E_{x}E_{t_{x}} \left[ \left( t_{x} - y(x , D) \right)^{2} \right] = & E_{x}E_{D}E_{t_{x}} \left[ (t_{x} - E_{t_{x}}[t_{x}])^{2} + (y(x , D) - E_{t_{x}}[t_{x}])^{2} \right]\\ & - E_{x}E_{D}E_{t_{x}} \left[2(t_{x} - E_{t_{x}}[t_{x}]) \cdot (y(x , D) - E_{t_{x}}[t_{x}]) \right]\\ =& E_{x}E_{D}E_{t_{x}} \left[ (t_{x} - E_{t_{x}}[t_{x}])^{2} + (y(x , D) - E_{t_{x}}[t_{x}])^{2} \right]\\ =& E_{x}E_{t_{x}} \left[ (t_{x} - E_{t_{x}}[t_{x}])^{2}\right] + E_{x}E_{D}\left[ (y(x , D) - E_{t_{x}}[ t_{x} ])^{2} \right]\\ =& E_{x}E_{t_{x}} \left[ (t_{x} - E_{t_{x}}[t_{x}])^{2}\right] + E_{x}E_{D}\left[ \left( \left(y(x , D) - E_{D}[y(x , D)] \right) - \left(E_{t_{x}}[ t_{x} ] - E_{D}[y(x , D)] \right) \right)^{2} \right]\\ =& E_{x}E_{t_{x}} \left[ (t_{x} - E_{t_{x}}[t_{x}])^{2}\right] + E_{x}E_{D}\left[ \left(y(x , D) - E_{D}[y(x , D)] \right)^{2} + \left(E_{t_{x}}[ t_{x} ] - E_{D}[y(x , D)] \right)^{2} \right]\\ & -E_{x}E_{D}\left[2\left(y(x , D) - E_{D}[y(x , D)] \right) \cdot \left(E_{t_{x}}[ t_{x} ] - E_{D}[y(x , D)] \right)\right] \end{align} とできます。上式の第三項は \begin{align} &E_{x}E_{D}\left[2\left(y(x , D) - E_{D}[y(x , D)] \right) \cdot \left(E_{t_{x}}[ t_{x} ] - E_{D}[y(x , D)] \right)\right]\\ & =2E_{x}E_{D}\left[\left(y(x , D) - E_{D}[y(x , D)] \right)\right] \cdot E_{x}\left[\left(E_{t_{x}}[ t_{x} ] - E_{D}[y(x , D)] \right)\right]\\ & =2E_{x}\left[\left(E_{D}\left[y(x , D)\right] - E_{D}[y(x , D)] \right)\right] \cdot E_{x}\left[\left(E_{t_{x}}[ t_{x} ] - E_{D}[y(x , D)] \right)\right]\\ & = 2 \cdot 0 \cdot E_{x}\left[\left(E_{t_{x}}[ t_{x} ] - E_{D}[y(x , D)] \right)\right]\\ & = 0 \end{align} となるので、結局 \begin{align} E_{D}E_{x}E_{t_{x}} \left[ \left( t_{x} - y(x , D) \right)^{2} \right] =& E_{x}E_{t_{x}} \left[ (t_{x} - E_{t_{x}}[t_{x}])^{2}\right] + E_{x}E_{D}\left[ \left(y(x , D) - E_{D}[y(x , D)] \right)^{2} + \left(E_{t_{x}}[ t_{x} ] - E_{D}[y(x , D)] \right)^{2} \right]\\ & -E_{x}E_{D}\left[2\left(y(x , D) - E_{D}[y(x , D)] \right) \cdot \left(E_{t_{x}}[ t_{x} ] - E_{D}[y(x , D)] \right)\right]\\ =& E_{x}E_{t_{x}} \left[ (t_{x} - E_{t_{x}}[t_{x}])^{2}\right] + E_{x}E_{D}\left[ \left(y(x , D) - E_{D}[y(x , D)] \right)^{2} \right]\\ & + E_{x}\left[ \left(E_{t_{x}}[ t_{x} ] - E_{D}[y(x , D)] \right)^{2} \right] \end{align} とできます。

第一項)^{2}] ]は目的変数の平均からの乖離（分散）を表しているため、説明変数上のノイズとして解釈でき、第二項 ] は学習データによるモデルのバラツキを表しているので、モデルのバリアンスと解釈できます。最後の第三項]は、目的変数の平均（ノイズを除いたもの）と予測モデルの平均（過学習を除いたもの）の差の二乗なので、バイアスの二乗と解釈できます。

したがって、 \begin{align} 二乗誤差 = ノイズ + バリアンス + バイアス^{2} \end{align} と二乗誤差を分解できることが分かります。

まとめ

二乗誤差をバイアス-バリアンス(+ノイズ)への分解を導出しました。内容としては簡単な導出ですが、このくらいの基礎的な内容でも意外と誤って認識していることがあるんだなといった良い教訓が得れました。（以後気をつけよう笑）

WAICの導出を追ってみる。その5

概要

前回の記事では、繰り込まれた事後分布による平均操作を定義して、やについて求めて行きました。 この記事では、汎化損失と経験損失の展開をキュムラントより求めた後、汎関数分散と正規確率過程の関係を求めて、WAICを導出します。

キュムラント母関数

汎化損失のキュムラント母関数と経験損失のキュムラント母関数を次の様に定義します。 \begin{align} \mathcal{G}_{n}(\alpha) = E_{X}[\log {E_{w}[ p(X|w)^{\alpha} ]} ], \quad \mathcal{T}_{n}(\alpha) = \frac{1}{n}\sum^{n}_{i = 1}\log{E_{w}}[ p(X|w)^{\alpha} ] \end{align} 以下では、キュムラント母関数を使って汎化損失や経験損失を表すための準備をします。

ここで汎化損失のキュムラント母関数を対数尤度比関数を使って表すと \begin{align} \mathcal{G}_{n}(\alpha) &= E_{X}[\log {E_{w}[ p(X|w)^{\alpha} ]} ]\\ &= E_{X}[\log {E_{w}[ p(X|w)^{\alpha} ]} - \log {p(X|w_{0})^{\alpha}} + \log {p(X|w_{0})^{\alpha}}]\\ &= - E_{X} \left[ \log {E_{w} \left[ \frac{p(X|w_{0})^{\alpha}} {p(X|w)^{\alpha}} \right]}\right] + E_{X} \left[ \log {p(X|w_{0})^{\alpha}} \right]\\ &= - E_{X} \left[ \log {E_{w} \left[ \left( \frac{p(X|w_{0})} {p(X|w)} \right) ^{\alpha} \right]}\right] + \alpha E_{X} \left[ \log {p(X|w_{0})} \right]\\ &= - E_{X} \left[ \log {E_{w} \left[
exp \left( \alpha \, \log{\frac{p(X|w_{0})} {p(X|w)} } \right) \right]}\right] - \alpha L(w_{0})\\ &= -\alpha L(w_{0}) -E_{X} \left[ \log {E_{w} \left[
exp \left( \alpha \, f(x,w) \right) \right]}\right] \\ &= - \alpha L(w_{0}) +E_{X} \left[ \log {E_{w} \left[
exp \left( -\alpha \, f(x,w) \right) \right]}\right] \end{align} となります。ここで]とすると \begin{align} \mathcal{G}^{(1)}_{n}(\alpha) &= \frac{d}{d\alpha} \mathcal{G}_{n}(\alpha)\\ &=\frac{d}{d\alpha} \left( - \alpha L(w_{0}) + E_{X} \left[ \log {E_{w} \left[
exp \left( -\alpha \, f(x,w) \right) \right]}\right] \right) \\ &= -L(w_{0}) - E_{X} \left[ \frac{E_{w} \left[
f(x,w) exp \left( -\alpha \, f(x,w) \right) \right] } {E_{w} \left[ exp \left( -\alpha \, f(x,w) \right) \right]} \right]\\ &= - L(w_{0}) - E_{X} \left[ \mathcal{L}_{1}(X)\right] \end{align} となります。ただし、 \begin{align} \mathcal{L}_{k}(A) = \frac{E_{w} \left[
\left( f(x,w) \right) ^{ k } exp \left( -\alpha \, f(A,w) \right) \right] } {E_{w} \left[ exp \left( -\alpha \, f(A,w) \right) \right]} \end{align} としています。また、は、 \begin{align} \mathcal{G}^{(2)}_{n}(\alpha) =& \frac{d}{d^{2}\alpha}\mathcal{G}_{n}(\alpha)\\ =& \frac{d}{d \alpha} \left( - L(w_{0}) - E_{X} \left[ \frac{ E_{w} \left[
f(x,w) exp \left( -\alpha \, f(x,w) \right) \right] } {E_{w} \left[ exp \left( -\alpha \, f(x,w) \right) \right] } \right] \right)\\ =& E_{X} \left[ \frac{d}{d \alpha}\left( - E_{w} \left[
f(x,w) exp \left( -\alpha \, f(x,w) \right) \right] \right)\frac{ 1 } {E_{w} \left[ exp \left( -\alpha \, f(x,w) \right) \right] } \right] \\ &+ E_{X} \left[ E_{w} \left[
f(x,w) exp \left( -\alpha \, f(x,w) \right) \right] \frac{d}{d \alpha}\left( \frac{ -1 } {E_{w} \left[ exp \left( -\alpha \, f(x,w) \right) \right] } \right) \right]\\ =& E_{X} \left[ E_{w} \left[ f(x,w)^{2} exp \left( -\alpha \, f(x,w) \right) \right] \cdot \frac{ 1 }{E_{w} \left[ exp \left( -\alpha \, f(x,w) \right) \right] } \right]\\ &+ E_{X} \left[ E_{w} \left[
f(x,w) exp \left( -\alpha \, f(x,w) \right) \right] \left( \frac{ - E_{w} \left[f(x,w) exp \left( -\alpha \, f(x,w) \right) \right] } {\left( E_{w} \left[ exp \left( -\alpha \, f(x,w) \right) \right] \right) ^{2} } \right) \right]\\ =& E_{X} \left[ \mathcal{L}_{2}(X) - \mathcal{L}_{1}(X) ^{2} \right] \end{align} と出来ます。 経験損失のキュムラント母関数にも同様の計算をする事で（をと置き換える事で） \begin{align} \mathcal{T}^{(1)}_{n}(\alpha) &= - L_{n}(w_{0}) - \frac{1}{n} \sum _{i=1} ^{n} \left[ \mathcal{L}_{1}(X)\right]\\ \mathcal{T}^{(2)}_{n}(\alpha) &=\sum _{i=1} ^{n} \mathcal{L}_{2}(X) - \mathcal{L}_{1}(X) ^{2} \end{align} とする事が出来ます。

キュムラントと損失関数

キュムラント母関数、より損失関数、を求めます。 まず汎化損失について考えます。 汎化損失のキュムラント母関数をの近傍で、中間値の定理を用いて3次まで展開すると、 \begin{align} \mathcal{G}_{n}(\alpha) = \mathcal{G}_{n}(0) + \alpha \mathcal{G}^{(1)}_{n}(0) + \alpha ^{2} \mathcal{G}^{(2)}_{n}(0) + \alpha ^{3} \mathcal{G}^{(3)}_{n}(\alpha^{ * }) , \quad \alpha^{*} \in (0,\alpha)\\ \end{align} と出来ます。 ここで \begin{align} \left| \mathcal{G}^{(3)}_{n}(\alpha) \right| = o \left( \frac{1}{n} \right) \end{align} として、とすると、 \begin{align} \mathcal{G}_{n}(0) &= E_{X}[\log {E_{w}[ p(X|w)^{0} ]}]\\ &=E_{X}[\log {E_{w}[ 1 ]}] = E_{X}[\log { 1 }] =0 \end{align} となるため、 \begin{align} \mathcal{G}_{n}(1) &= \mathcal{G}_{n}(0) + 1 \cdot \mathcal{G}^{(1)}_{n}(0) + 1 ^{2} \cdot \mathcal{G}^{(2)}_{n}(0) + 1 ^{3} \cdot \mathcal{G}^{(3)}_{n}(\alpha^{ * }) \\ &= 0 + \mathcal{G}^{(1)}_{n}(0) + \mathcal{G}^{(2)}_{n}(0) + o \left( \frac{1}{n} \right)\\ &=\mathcal{G}^{(1)}_{n}(0) + \mathcal{G}^{(2)}_{n}(0) + o \left( \frac{1}{n} \right) \end{align} と出来ます。ここで、汎化損失と汎化損失のキュムラント母関数には \begin{align} G_{n} &= -E_{X} \left[ log{ E_{w} \left[ p(X|w) \right]}\right]\\ &= -E_{X} \left[ log{ E_{w} \left[ p(X|w)^{1} \right]}\right]\\ &= -\mathcal{G}_{n}(1) \end{align} の関係があるので、汎化損失は汎化損失のキュムラント母関数によって次の様に表せます。 \begin{align} G_{n}　&= -\mathcal{G}_{n}(1)\\ &= - \mathcal{G}^{(1)}_{n}(0) - \mathcal{G}^{(2)}_{n}(0) + o \left( \frac{1}{n} \right) \end{align} 同様に経験損失は経験損失のキュムラント母関数によって次の様に表せます。 \begin{align} T_{n}　&= -\mathcal{T}_{n}(1)\\ &= - \mathcal{T}^{(1)}_{n}(0) - \mathcal{T}^{(2)}_{n}(0) + o \left( \frac{1}{n} \right) \end{align}

汎化損失、経験損失のの繰り込まれた事後分布による表現と汎関数分散

この節では、次の関係を導出します。 \begin{align} G_{n} &= L(w_{0}) + \frac{1}{n}\left( \frac{\lambda}{\beta} + \frac{1}{2}\langle \sqrt{t}\xi_{n}(u) \rangle - \frac{1}{2}V(\xi_{n}(u)) \right) + o \left(\frac{1}{n} \right)\\ T_{n} &= L_{n}(w_{0}) + \frac{1}{n}\left( \frac{\lambda}{\beta} - \frac{1}{2}\langle \sqrt{t}\xi_{n}(u) \rangle - \frac{1}{2}V(\xi_{n}(u)) \right) + o \left(\frac{1}{n} \right) \end{align} この関係を導くために \begin{align} G_{n} &= - \mathcal{G}^{(1)}_{n}(0) - \mathcal{G}^{(2)}_{n}(0) + o \left( \frac{1}{n} \right)\\ T_{n}&= - \mathcal{T}^{(1)}_{n}(0) - \mathcal{T}^{(2)}_{n}(0) + o \left( \frac{1}{n} \right) \end{align} の関係を利用します。この関係を使うには、 \begin{align} \left| \mathcal{G}^{(3)}_{n}(\alpha) \right| =& o \left( \frac{1}{n} \right)\\ \left| \mathcal{T}^{(3)}_{n}(\alpha) \right| =& o \left( \frac{1}{n} \right) \end{align} である事が必要となります。ここで \begin{align} E_{w} \left[ f(x,w)^{s} \right] &= \frac{1}{n^{\frac{s}{2}}}\langle \left( \sqrt{t} a(x,u) \right) ^{s} \rangle + o \left( \frac{1}{n^{\frac{s}{2}}} \right) \end{align} となるため、の時について考えると、 > なので、 \begin{align} \frac{d^{3} E_{w} \left[ f(x,w)^{s} \right]}{ds^{3}} &=\frac{d^{2}}{ds^{2}} \left( \frac{1}{n^{\frac{s}{2}}} \cdot \left(\frac{d}{ds} \langle \left( \sqrt{t} a(x,u) \right) ^{s} \rangle \right) +\left( \frac{d}{ds} \frac{1}{n^{\frac{s}{2}}} \right)\cdot \langle \left( \sqrt{t} a(x,u) \right) ^{s} \rangle + \frac{d}{ds} o \left( \frac{1}{n^{\frac{s}{2}}} \right)\right)\\ &=\frac{d^{2}}{ds^{2}} \left( \frac{1}{n^{\frac{s}{2}}} \cdot \left(\frac{d}{ds} \langle \left( \sqrt{t} a(x,u) \right) ^{s} \rangle \right) +o \left( \frac{1}{n^{\frac{s}{2}}} \right)\right)\\ &= \quad ...\\ &=\frac{1}{n^{\frac{s}{2}}} \cdot \left(\frac{d^{3}}{ds^{3}} \langle \left( \sqrt{t} a(x,u) \right) ^{s} \rangle \right) +o \left( \frac{1}{n^{\frac{s}{2}}} \right)\\ &= o \left( \frac{1}{n} \right) \end{align} となります。また、]の時は、なので、 \begin{align} E_{w} \left[ f(x,w)^{s} \right] =& \frac{1}{n^{\frac{s}{2}}}\langle \left( \sqrt{t} a(x,u) \right) ^{s} \rangle + o \left( \frac{1}{n^{\frac{s}{2}}} \right)\\ =& \frac{1}{n^{\frac{s}{2}}}\langle \left( \left( \sqrt{t} a(x,u)\right) ^{2}\right) ^{\frac{s}{2}} \rangle + o \left( \frac{1}{n^{\frac{s}{2}}} \right)\\ \le& \frac{1}{n^{\frac{s}{2}}}\langle \left( \sqrt{t} a(x,u)\right) ^{2} \rangle + o \left( \frac{1}{n^{\frac{s}{2}}} \right)\\ \end{align} と出来ます。このため、 \begin{align} \frac{d^{3} E_{w} \left[ f(x,w)^{s} \right]}{ds^{3}} \le o \left( \frac{1}{n^{\frac{s}{2}+3}} \right) \end{align} となります。また、 \begin{align} E_{w} \left[ f(x,w)^{s} \right] =& \frac{1}{n^{\frac{s}{2}}}\langle \left( \left( \sqrt{t} a(x,u)\right) ^{2}\right) ^{\frac{s}{2}} \rangle + o \left( \frac{1}{n^{\frac{s}{2}}} \right)\\ \ge 0 + o \left( \frac{1}{n^{\frac{s}{2}}} \right) \end{align} なので、 \begin{align} \frac{d^{3} E_{w} \left[ f(x,w)^{s} \right]}{ds^{3}} \ge o \left( \frac{1}{n^{\frac{s}{2}+3}} \right) \end{align} であるとも言えます。よって、 \begin{align} \frac{d^{3} E_{w} \left[ f(x,w)^{s} \right]}{ds^{3}} & = o \left( \frac{1}{n^{\frac{s}{2}+3}} \right)\\ & = o \left( \frac{1}{n} \right) \end{align} と言えます。 \begin{align} E_{w} \left[ f(x,w)^{s} \right] = E_{w} \left[ \left( \log{ p(x|w_{0})} - \log{ p(x|w)} \right)^{s} \right] \end{align} であるため、 \begin{align} \left| \mathcal{G}^{(3)}_{n}(\alpha) \right| =& o \left( \frac{1}{n} \right)\\ \left| \mathcal{T}^{(3)}_{n}(\alpha) \right| =& o \left( \frac{1}{n} \right) \end{align} であると言えます。

このため、汎化損失、経験損失のを求める為には、、、 、を求めればいい事がわかります。

については、 \begin{align} - \mathcal{G}^{(1)}_{n}(0) =& L(w_{0}) + E_{X} \left[ \mathcal{L}_{1}(X)\right]\\ =& L(w_{0}) + E_{X} \left[ \frac{E_{w} \left[
\left( f(x,w) \right) ^{ 1 } exp \left( 0 \cdot f(x,w) \right) \right] } {E_{w} \left[ exp \left( 0 \cdot f(x,w) \right) \right]}\right]\\ =& L(w_{0}) + E_{w}\left[ K(w) \right]\\ =& L(w_{0}) + \langle \frac{t}{n} \rangle + o \left( \frac{1}{n} \right)\\ =& L(w_{0}) + \frac{1}{n} \left( \frac{\lambda}{\beta} + \frac{1}{2} \langle \sqrt{t} \xi_{n}(u) \rangle \right) + o \left( \frac{1}{n} \right) \end{align} となります。またについては、汎関数分散 \begin{align} V(\xi_{n}) = E_{X} \left[ E_{w} \left[ \langle t a(x,u)^{2} \rangle \right] - E_{w} \left[ \langle \sqrt{t} a(x,u)\rangle \right]^{2} \right] \end{align} によって次の様に定義されます。 \begin{align} \mathcal{G}^{(2)}_{n}(0) =& E_{X} \left[ \mathcal{L}_{2}(X) - \mathcal{L}_{1}(X) ^{2} \right]\\ =& E_{X} \left[ E_{w} \left[ f(x,w)^{2} \right] - E_{w} \left[ f(x,w) \right]^{2} \right]\\ =& \frac{1}{n} E_{X} \left[ E_{w} \left[ \langle t a(x,u)^{2} \rangle \right] - E_{w} \left[ \langle \sqrt{t} a(x,u)\rangle \right]^{2} \right] + o \left( \frac{1}{n} \right)\\ =& V(\xi_{n}) + o \left( \frac{1}{n} \right) \end{align} と出来ます。

は、 \begin{align} - \mathcal{T}^{(1)}_{n}(0) =& L(w_{0}) + \frac{1}{n} \sum^{n}_{i=1}{\mathcal{L}_{1}(x_{i})} \\ =& L(w_{0}) + \frac{1}{n} \sum^{n}_{i=1}{ \frac{E_{w} \left[
\left( f(x,w) \right) ^{ 1 } exp \left( 0 \cdot f(x,w) \right) \right] } {E_{w} \left[ exp \left( 0 \cdot f(x,w) \right) \right]}}\\ =& L(w_{0}) + E_{w}\left[ K_{n}(w) \right]\\ =& L(w_{0}) + \langle \frac{t - \sqrt{t} \xi _{n}(u)}{n} \rangle + o \left( \frac{1}{n} \right)\\ =& L(w_{0}) + \frac{1}{n} \left( \frac{\lambda}{\beta} - \frac{1}{2} \langle \sqrt{t} \xi_{n}(u) \rangle \right) + o \left( \frac{1}{n} \right) \end{align}と出来きます。または、 \begin{align} \mathcal{T}^{(2)}_{n}(0) =& \frac{1}{n} \sum^{n}_{i=1} { \mathcal{L}_{2}(X) - \mathcal{L}_{1}(X) ^{2} } \\ =& \frac{1}{n} \sum^{n}_{i=1}{ E_{w} \left[ f(x,w)^{2} \right] - E_{w} \left[ f(x,w) \right]^{2}} \\ =& \frac{1}{n^{2}} \sum^{n}_{i=1} { E_{w} \left[ \langle t a(x,u)\rangle^{2} \right] - E_{w} \left[ \langle \sqrt{t} a(x,u)\rangle \right]^{2} } + o \left( \frac{1}{n} \right)\\ \end{align} ここで関数の大数の法則より \begin{align} &\frac{1}{n} \sum^{n}_{i=1} { E_{w} \left[ \langle t a(x,u)\rangle^{2} \right] - E_{w} \left[ \langle \sqrt{t} a(x,u)\rangle \right]^{2} }\\ &\quad = E_{X} \left[ E_{w} \left[ \langle t a(x,u)\rangle^{2} \right] - E_{w} \left[ \langle \sqrt{t} a(x,u)\rangle \right]^{2} \right] +o(1) \end{align} より、との差はの時に収束する。 よって、 \begin{align} \mathcal{T}^{(2)}_{n}(0) = & V(\xi_{n}) + o \left( \frac{1}{n} \right) \end{align} となります。

以上の、、 、に関する議論と \begin{align} G_{n} &= - \mathcal{G}^{(1)}_{n}(0) - \mathcal{G}^{(2)}_{n}(0) + o \left( \frac{1}{n} \right)\\ T_{n}&= - \mathcal{T}^{(1)}_{n}(0) - \mathcal{T}^{(2)}_{n}(0) + o \left( \frac{1}{n} \right) \end{align} より、 \begin{align} G_{n} &= L(w_{0}) + \frac{1}{n}\left( \frac{\lambda}{\beta} + \frac{1}{2}\langle \sqrt{t}\xi_{n}(u) \rangle - \frac{1}{2}V(\xi_{n}(u)) \right) + o \left(\frac{1}{n} \right)\\ T_{n} &= L_{n}(w_{0}) + \frac{1}{n}\left( \frac{\lambda}{\beta} - \frac{1}{2}\langle \sqrt{t}\xi_{n}(u) \rangle - \frac{1}{2}V(\xi_{n}(u)) \right) + o \left(\frac{1}{n} \right) \end{align} となる事が示ました。

正規確率過程と汎関数分散の関係

ここでは、前の節で登場したとの関係を確認します。 ここで、サンプルの出方の期待値（偶然片寄ったサンプルが得られることを確率的に扱う）を]と表記します。すると、 \begin{align} E[\mathcal{G}_{n - 1}(\beta)] =& E\left[ E_{X}\left[ \log{ E_{w} \left[ p(X|w) ^{\beta} \right] } \right]\right]\\ =& E\left[ E_{X}\left[ \log{\left( \int_{W} p(X|w) ^{\beta} \cdot \frac{ \phi(w) \prod^{n - 1}_{i = 1}{ p(x_{i} | w) ^{\beta} } }{\int_{W} \phi(w) \prod^{n - 1}_{i = 1}{ p(x_{i} | w) ^{\beta} } dw}dw \right) }\right]\right]\\ =& E\left[ \log{\left( \int_{W} p(x_{n}|w) ^{\beta} \cdot \frac{ \phi(w) \prod^{n - 1}_{i = 1}{ p(x_{i} | w) ^{\beta} } }{\int_{W} \phi(w) \prod^{n - 1}_{i = 1}{ p(x_{i} | w) ^{\beta} } dw}dw \right) }\right]\\ =& E\left[ - \log{\left( \int_{W} p(x_{n}|w) ^{- \beta} \cdot \frac{ \phi(w) \prod^{ n }_{i = 1}{ p(x_{i} | w) ^{\beta} } }{\int_{W} \phi(w) \prod^{ n }_{i = 1}{ p(x_{i} | w) ^{\beta} } dw}dw \right) }\right]\\ =& - E\left[ \log{ E_{w}\left[ p(x_{n} | w) ^{-\beta} \right] }\right]\\ \end{align} と出来ます。この式は、で平均を取っているので、のどれを入れ替えても値は同じであるから、 \begin{align} E[\mathcal{G}_{n - 1}(\beta)] =&- E\left[ \log{ E_{w}\left[ p(x_{n} | w) ^{-\beta} \right] }\right]\\ =& - E\left[ \frac{1}{n} \sum^{n}_{i=1} \log{ E_{w}\left[ p(x_{i} | w) ^{-\beta} \right] }\right]\\ =& E[\mathcal{T}_{n - 1}(-\beta)] \end{align} となります。ここで、中間値の定理を使って、近傍で3次の項まで両辺を展開したのち、を代入し、定数項がになり3次の項がであるとすると、（本記事の上記で行った様に両辺を展開すると） \begin{align} E[\mathcal{G}^{(1)}_{n - 1}(0) + \frac{\beta}{2}\mathcal{G}^{(2)}_{n - 1}(0)] = E[\mathcal{T}^{(1)}_{n}(0) - \frac{\beta}{2}\mathcal{T}^{(2)}_{n}(0)] + o\left(\frac{1}{n}\right) \end{align} と出来ます。ここで、 \begin{align} - \mathcal{G}^{(1)}_{n}(0) =& L(w_{0}) + \frac{1}{n} \left( \frac{\lambda}{\beta} + \frac{1}{2} \langle \sqrt{t} \xi_{n}(u) \rangle \right) + o \left( \frac{1}{n} \right)\\ \mathcal{G}^{(2)}_{n}(0) =& V(\xi_{n}) + o \left( \frac{1}{n} \right) \end{align} であるため、 との違いや、との違いは、 つまりはと出来る事が分かります。 したがって、 \begin{align} E[\mathcal{G}^{(1)}_{n - 1}(0) + \frac{\beta}{2}\mathcal{G}^{(2)}_{n - 1}(0)] =&\\ E[\mathcal{G}^{(1)}_{n}(0) + \frac{\beta}{2}\mathcal{G}^{(2)}_{n}(0)] + o\left(\frac{1}{n}\right) =&\\ E[\mathcal{T}^{(1)}_{n}(0) - \frac{\beta}{2}\mathcal{T}^{(2)}_{n}(0)] + o\left(\frac{1}{n}\right) \end{align} とできます。 、、、に関する結果を使う事で両辺は、 \begin{align} E \left[\mathcal{G}^{(1)}_{n}(0) + \frac{\beta}{2}\mathcal{G}^{(2)}_{n}(0)\right] + o\left(\frac{1}{n}\right) =& E \left[ - L(w_{0}) - \frac{1}{n} \left( \frac{\lambda}{\beta} - \frac{1}{2} \langle \sqrt{t} \xi_{n}(u) \rangle \right) +\frac{\beta}{2}V(\xi_{n}) + o \left( \frac{1}{n} \right) \right] + o \left( \frac{1}{n} \right) \\ =& - L(w_{0}) - E \left[ \frac{1}{n} \left( \frac{\lambda}{\beta} - \frac{1}{2} \langle \sqrt{t} \xi_{n}(u) \rangle \right) +\frac{\beta}{2}V(\xi_{n}) \right]+ o \left( \frac{1}{n} \right)\\ \\ E \left[\mathcal{T}^{(1)}_{n}(0) + \frac{\beta}{2}\mathcal{T}^{(2)}_{n}(0)\right] + o\left(\frac{1}{n}\right) =& E \left[ - L_{n}(w_{0}) - \frac{1}{n} \left( \frac{\lambda}{\beta} + \frac{1}{2} \langle \sqrt{t} \xi_{n}(u) \rangle \right) -\frac{\beta}{2}V(\xi_{n}) + o \left( \frac{1}{n} \right) \right] + o \left( \frac{1}{n} \right) \\ =& - L(w_{0}) - E \left[ \frac{1}{n} \left( \frac{\lambda}{\beta} + \frac{1}{2} \langle \sqrt{t} \xi_{n}(u) \rangle \right) -\frac{\beta}{2}V(\xi_{n})\right] + o \left( \frac{1}{n} \right) \end{align} とできます。これらより、 \begin{align} &- L(w_{0}) - E \left[ \frac{1}{n} \left( \frac{\lambda}{\beta} - \frac{1}{2} \langle \sqrt{t} \xi_{n}(u) \rangle \right) +\frac{\beta}{2}V(\xi_{n}) \right]+ o \left( \frac{1}{n} \right) \\ & \qquad = - L(w_{0}) - E \left[ \frac{1}{n} \left( \frac{\lambda}{\beta} + \frac{1}{2} \langle \sqrt{t} \xi_{n}(u) \rangle \right) -\frac{\beta}{2}V(\xi_{n})\right] + o \left( \frac{1}{n} \right) \\ \end{align} とでき、両辺を整理すると \begin{align} E \left[\langle \sqrt{t} \xi_{n}(u) \rangle \right] &= E \left[\beta V(\xi_{n}) \right] + o(1) \end{align} となる事が分かります。

WAICの導出

ここではこれまでの議論を使ってWAICを導出します。 経験対数損失と平均対数損失について、サンプリングに関する変動に関する平均操作を]で表すと、 \begin{align} L(w_{0}) = E\left[ L(w_{0}) \right] = E\left[ L_{n}(w_{0}) \right] \end{align} とできます。この関係を使って \begin{align} G_{n} &= L(w_{0}) + \frac{1}{n}\left( \frac{\lambda}{\beta} + \frac{1}{2}\langle \sqrt{t}\xi_{n}(u) \rangle - \frac{1}{2}V(\xi_{n}(u)) \right) + o \left(\frac{1}{n} \right)\\ T_{n} &= L_{n}(w_{0}) + \frac{1}{n}\left( \frac{\lambda}{\beta} - \frac{1}{2}\langle \sqrt{t}\xi_{n}(u) \rangle - \frac{1}{2}V(\xi_{n}(u)) \right) + o \left(\frac{1}{n} \right) \end{align} を、について代入すると、 \begin{align} &E\left[ T_{n} - \frac{1}{n}\left( \frac{\lambda}{\beta} - \frac{1}{2}\langle \sqrt{t}\xi_{n}(u) \rangle - \frac{1}{2}V(\xi_{n}(u)) \right) - o \left(\frac{1}{n} \right) \right] \\ & \qquad= E\left[ G_{n} - \frac{1}{n}\left( \frac{\lambda}{\beta} + \frac{1}{2}\langle \sqrt{t}\xi_{n}(u) \rangle - \frac{1}{2}V(\xi_{n}(u)) \right) - o \left(\frac{1}{n} \right) \right] \end{align} となり、整理すると、 \begin{align} E\left[ G_{n} \right] &= E\left[ G_{n} + \frac{1}{n}\langle \sqrt{t}\xi_{n}(u) \rangle \right] + o \left(\frac{ 1 }{ n } \right)\\ &= E\left[ T_{n} + \frac{1}{n}\beta V(\xi_{n}) \right] + o \left(\frac{ 1 }{ n } \right) \end{align} とできます。汎関数分散については、広中の特異点解消定理によって、パラメータが変更されているため、そのままでは計算する事ができないので、漸近的に同じとなる次の汎関数分散を考えます。 \begin{align} V_{n} &= \sum^{n}_{i=1} { E_{w} \left[ \left( \log{ p(x_{i} |w)} \right) ^{2} \right] - E_{w} \left[ \log{ p(x_{i} |w)} \right]^{2} } \end{align} ここで、 \begin{align} V_{n} &= \sum^{n}_{i=1} { E_{w} \left[ \left( \log{ p(x_{i} |w)} \right) ^{2} \right] - E_{w} \left[ \log{ p(x_{i} |w)} \right]^{2} }\\ &= \sum^{n}_{i=1} { E_{w} \left[ \left( -\log{ p(x_{i} |w)} \right) ^{2} \right] + \left( \log{ p(x_{i} |w_0)} \right)^{2} - \left( \log{ p(x_{i} |w_0)} \right)^{2} - E_{w} \left[ -\log{ p(x_{i} |w)} \right]^{2} }\\ &= \sum^{n}_{i=1} { E_{w} \left[ \left( \log{ \frac{p(x_{i} |w_{0})}{p(x_{i} |w)} } \right) ^{2} \right] - E_{w} \left[ \log{ \frac{p(x_{i} |w_{0})}{p(x_{i} |w)} } \right]^{2} }\\ &= \sum^{n}_{i=1} { E_{w} \left[ f(x|w) ^{2} \right] - E_{w} \left[ f(x|w) \right]^{2} }\\ &= \sum^{n}_{i=1} { \langle t a(x,u)^{2}\rangle - \langle \sqrt{t} a(x,u) \rangle ^{2} } + o \left(\frac{ 1 }{ n } \right)\\ &= \sum^{n}_{i=1} { V( \xi_{n} ) } + o \left(\frac{ 1 }{ n } \right)\\ \end{align} となるため、とが漸近的に一致する事が分かります。

上記の議論より、 \begin{align} E\left[ G_{n} \right] &= E\left[ G_{n} + \frac{1}{n}\langle \sqrt{t}\xi_{n}(u) \rangle \right] + o \left(\frac{1}{n} \right)\\ &= E\left[ T_{n} + \frac{\beta}{n} V(\xi_{n}) \right] + o \left(\frac{1}{n} \right)\\ &= E\left[ T_{n} + \frac{\beta}{n} V_{n} \right] + o \left(\frac{1}{n} \right) \end{align} の関係が導け、これをベイズ統計学の状態方程式と呼びます。 ここでWAICを次の様に定義します。 \begin{align} W_{n} = T_{n} + \frac{\beta}{n}V_{n} \end{align} すると、 \begin{align} G_{n} = W_{n} + o \left(\frac{1}{n} \right) \end{align} が成り立つためWAICを計算する事で、汎化損失の近似値を得る事ができます。

まとめ

以上より、WAICが導出されました。WAICは汎化損失の近似値ですが、汎化損失の近似方法として、one leave out cross validationやその近似法であるパレート重点サンプリング等があります。どの手法がいいか実験を行って挙動を比較する必要があります。 また、対数周辺尤度の近似であるWBICや実対数閾値を使って対数周辺尤度の計算を行うsinguler BICがあるので、汎化損失以外の方法でモデルの評価を行いたい時は、WAICでない方法を選ぶと良いです。ただし、今回は示しませんでしたが、「ベイズ統計の理論と方法」において、WAICとone leave out cross validationはで汎化損失に収束するため、WBICと比べて少ないサンプルで収束する性質があるとされています。このため、データサイズが小さい場合は、WAICで評価するのが望ましい様に思います。（実は「ベイズ統計の理論と方法」の著者である渡辺先生の研究室の学生がWBICの収束を改善したものを（統計系の学会で）日本語のみで報告したとの噂を聞いた事があります。真偽の程は分かりませんが。。。）

WAICの導出は五つの記事に渡る長編でしたが、最後までお付き合い頂き有難うございました。

WAICの導出を追ってみる。その4

概要

本記事では、事後分布の微小積分をサンプル数で収束する部分とサンプリングによる確率的変動で収束する部分に分かれた形に変形します。この様に分けることで、事後分布で期待値を計算する際に、分母と分子でサンプル数で収束する部分同士でキャンセルさせて、サンプリングによる変動のみを考えればいい様出来ます。 そのあと、事後分布での積分を考えて、WAIC導出の準備を行います。

正規化された分配関数の主要項と積分範囲

その3の記事で示した通り、 \begin{align} Z^{(0)}_{n}(\beta)&=Z^{(1)}_{n}(\beta)+Z^{(2)}_{n}(\beta)\\ Z^{(1)}_{n}(\beta) &= \int_{K(w) < \epsilon} \exp \left( -n \beta K_{n}(w) \right)\\ Z^{(2)}_{n}(\beta) &= \int_{K(w) \geq \epsilon}\exp\left( -n \beta K_{n}(w) \right) \end{align}

\begin{align} \lim_{x \to \infty} \epsilon(n) &=0 \end{align}

\begin{align} \lim_{x \to \infty} \sqrt{n}\epsilon(n) &= \infty \end{align}

と言う風に正規化された分配関数は主要項と非主要項に分けることが出来き、非主要項はのオーダーでに収束するので、主要項に該当する部分 \begin{align}K(w)<\epsilon\end{align}について考えます。また本記事で示すことですが、主要項はで収束します。

標準形・変数変換

これまでの議論から、事後微小積分を標準化して変形します。 \begin{align} \Omega(w)dw &= exp(-n \beta K_{n}(w))\phi(w)dw\\ &= exp(-n \beta K_{n}(g(u))\phi(g(u))|g'(u)|du\\ &= exp(-n \beta u^{2k} + \sqrt{n}\beta u^{k} \xi_{n}(u))|u^{h}|b(u)du \end{align} ここでデルタ関数を使って \begin{align} \Omega(w) dw &= \int^{\infty} _{0} d \chi \delta(\chi - u^{2k}) u^{h} exp(-n \beta \chi + \sqrt{n\chi} \beta \xi_{n}(u)) b(u) du \end{align}

ここで変数の変換を行いの指数の中からを外に出します。（なので、絶対値を外す事が出来ます。） 微分するととなるので、 \begin{align} \Omega(w) dw &= \int^{\infty} _{0} \frac{dt}{n} \delta \left(\frac{t}{n} - u^{2k} \right) u^{h} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) b(u) du \end{align} と出来ます。ここでといった項が出てきていますが、このままでは扱いにくいので、これから一旦の性質について調べて(とサンプル数が増えることを想定して、その時に何にどのくらいの速さで収束するかをしらべます)、デルタ関数を扱い易い形へ変形します。

デルタ関数の近似

\begin{align} \Delta(t,u)=\delta(t-u^{2k})|u^{h}| \end{align} について考えます。この時、多重指数とに関して、 \begin{align} \left( \frac{h_{j}+1}{2k_{j}} \right) \end{align} を考えます。この値は、あとでにメリン変換を行い近似を行うのですが、その挙動を示す複素関数の極の位置を表します。上式の値に関して最小の値を \begin{align} \lambda= \min^{d}_{j=1}\left(\frac{h_{j}+1}{2k_{j}}\right) \end{align} とし、最小値を取るの個数をとし、多重度と呼びます。を実対数閾値といい、多重度と実体数閾値はを複数の項に分解した際に最も収束が遅い項の収束のスピードを表すものになります。またパラメータの中で、がとなっているを集めて、とし、それ以外のパラメータをとして、とします。

これらの記号の整理を元に次の定理を示します。 次の微小積分について考えます。 \begin{align} du^{ * } = \left(\frac{1}{(m - 1)!2^{m} \prod^{m}_{j=1}k_{j}}\right)\cdot\delta(u_{a})u^{\mu}_{b}b(u)du \end{align} ただし、はとして値が決められるものになります。 このについて、次の関係がなりたちます。 \begin{align} \delta\left( t-u^{2k} \right)|u^{h}|b(u)du = t^{\lambda - 1}(- \log t )^{m -1} du^{ * } + o\left( t^{\lambda - 1}(- \log t )^{m -1} \right) \end{align} 上記の関係を示すために、メリン変換について確認します。メリン変換とはラプラス変換の仲間のようなもので、関数に関して、 \begin{align} (Mf)(z) = \int^{\infty}_{0}t^{z}f(t)dt \quad (z \in \mathbb{C}) \end{align} となっていて、逆変換は \begin{align} (M^{-1} F)(t) = \frac{1}{2\pi i }\int^{c+i \infty }_{c-i \infty} F(z) t^{-z}dz \end{align} ここでにおいて、メリン変換が複素関数として正則となる定数があり、定数はを満たすものとします。

ここで、についてメリン変換すると、 \begin{align} (M\Delta)(z,u) = \int^{\infty}_{0}t^{z}\delta\left( t - u ^{2k} \right)|u^{h}| dt = \left( u^{2k} \right) ^{z} u^{h} = u^{2kz + h} \end{align} と出来ます。ここでを]で積分するので、絶対値を外しています。 このメリン変換したに無限回微分出来る任意の関数をかけて上で積分したものを \begin{align} \zeta(z) = \int_{[0,1]^{d}}u^{2kz + h}\Phi(u)du \end{align} とします。これより、上記の準備を用いて、上記の関係を導出します。 を原点の周りでについてのみ展開すると、 \begin{align} \Phi(u) = \Phi(0, u_{b}) + u_{a} \cdot \nabla _{a} \Phi(0, u_{b}) + \frac{u^{2}_{a}}{2} \nabla ^{2} \Phi( u^{ * } _{a}, u _{b}) \end{align} とできます。三つ目の項は中間値の定理で高次の項をまとめたものになります。これを用いるとは \begin{align} \zeta(z) = \int_{[0,1]^{d}} \left( u^{2kz + h} \Phi(0, u_{b}) + u^{2kz + h} \left(u_{a} \cdot \nabla_{a} \Phi(0, u_{b}) + \frac{u^{2}_{a}}{2}\nabla^{2}\Phi(u^{ * }_{a},u_{b}) \right) \right) du \end{align} となります。ここで第一項はのみ積分を実行する事で \begin{align} \int_{[0,1]^{d}}u^{2kz + h} \Phi(0, u_{b})du &= \left( \prod^{m}_{j=1}\int^{1}_{0} u_{j}^{2k_{j}z + h_{j}}du_{j} \right)\int_{[0,1]^{d - m}}u_{b}^{2kz + h} \Phi(0, u_{b})du_{b}\\ &= \left( \prod^{m}_{j=1} \frac{1}{2k_{j}z + h_{j} +1} \right) \int_{[0,1]^{d - m}}u_{b}^{2kz + h} \Phi(0, u_{b})du_{b}\\ &=\frac{c_{1}}{(z+\lambda)^{m}} \int_{[0,1]^{d - m}}u_{b}^{2kz + h} \Phi(0, u_{b})du_{b} \end{align} と出来ます。ここで、とします。ここで、第二項では展開した際に出てくるの影響で、被積分関数中のの指数は上式中のより大きくなります。このため、積分を実行した際に極がより小さくなることが分かります。また、の部分については、と同様に原点近傍で展開することで極の位置が分りますが、より、極の位置がより小さくなることが分かります。このため、の最大の極はで位数がであることが分かりました。（「ベイズ統計の理論と方法」では、第一項以外の最大の極がの時は、位数がより小さくなるとしていますが、私には「極がとなるケース」がよく分かりませんでした。） ここでとして、上式の第1項を周辺で展開することを考えると、 \begin{align} &\frac{c_{1}}{(z+\lambda)^{m}} \int_{[0,1]^{d - m}}u_{b}^{2kz + h} \Phi(0, u_{b})du_{b} \\ &= \frac{c_{1}}{(z+\lambda)^{m}} \int_{[0,1]^{d - m}} u_{b}^{ \mu }\Phi(0, u_{b})du_{b} + \frac{c_{1}}{(z+\lambda)^{m}} \int_{[0,1]^{d - m}} \left(z - (- \lambda) \right) \cdot \nabla _{z}u_{b}^{2kz + h} \cdot \Phi(0, u_{b})du_{b} + ...\\ &= \frac{c_{1}}{(z+\lambda)^{m}} \int_{[0,1]^{d - m}} u_{b}^{ \mu } \Phi(0, u_{b})du_{b} + \frac{c_{1}}{(z+\lambda)^{m - 1}} \int_{[0,1]^{d - m}} \nabla _{z}u_{b}^{2kz + h} \cdot \Phi(0, u_{b})du_{b} + ... \end{align} となり、ここでの第一項以外の項のでの極の位数はより小さくなることが分かります。ここで、第一項について、「の上で積分」の逆の操作（の全ての成分について微分する）事を考え、この操作をと表記すると \begin{align} \frac{d \left( \frac{c_{1}}{(z+\lambda)^{m}} \int_{[0,1]^{d - m}} u_{b}^{ \mu }\Phi(0, u_{b})du_{b} \right) }{d u} &= \frac{c_{1}}{(z+\lambda)^{m}} \frac{d \left( \int_{[0,1]^{d - m}} u_{b}^{ \mu }\Phi(0, u_{b})du_{b} \right) }{d u}\\ & = \frac{c_{1}}{(z+\lambda)^{m}} \frac{ d \left( \int_{[0,1]^{d}} \delta ( u_{a} ) u_{b}^{ \mu }\Phi( u)du \right) }{du}\\ & = \frac{c_{1}}{(z+\lambda)^{m}} \delta ( u_{a} ) u_{b}^{ \mu }\Phi( u) \end{align} と出来ます。これらの操作を展開した全ての項に対して行う事で、のメリン変換を、 \begin{align} (M\Delta(t,u))(z) = \sum _{i} \frac{c_{i}}{(z+\lambda_{i})^{m_{i}}} \delta ( u_{a} ) u_{b}^{ \mu } \end{align} とすることが出来ます。ただし、はかつであり、の時のみとなります。

ここで、の時はとなり、それ以外の時はとなる関数のメリン変換について考えます。すると \begin{align} &(Mf_{m}(t))(z) = \int ^{\infty}_{0} t^{z}f_{m}(t)dt = \int ^{1}_{0} t^{z}t^{\lambda - 1}(-\log (t))^{m - 1}dt\\ &= \left[ \frac{1}{z + \lambda}t^{z+\lambda}(-\log(t))^{m - 1} \right]^{1}_{0} + \frac{m - 1}{ z + \lambda}\int^{1}_{0}t^{z + \lambda - 1}(- \log(t))^{m - 2} dt \\ &=\frac{m - 1}{ z + \lambda}(Mf_{m}(t))(z) \end{align} となるため、これを回繰り返すことで、 \begin{align} (Mf_{m}(t))(z) = \frac{(m - 1)!}{(z + \lambda)^{m}} \end{align} となる事が分かります。

このため、 \begin{align} \Delta(u,t) &= \left(M^{-1}(M\Delta(u,t))(z)\right)(t)\\ & = \left(M^{-1} \left(\sum _{i} \frac{c_{i}}{(z+\lambda_{i})^{m_{i}}} \delta ( u_{a} ) u_{b}^{ \mu } \right)\right)(t)\\ & = \sum _{i} \frac{c_{i}}{(m_{i} - 1)!} \cdot t^{\lambda_{i} -1} (- log(t))^{m_{i} - 1} \end{align} となります。において、 \begin{align} t^{a} (- log(t))^{b} = t^{a} (log(\frac{1}{t}))^{b}\to 0 \,\,\,\,(t \to 0) \end{align} であり、へ収束する速度はが小さく、が大きいほど遅くなるので、において、 \begin{align} \Delta(u,t) &= \sum _{i} \frac{c_{i}}{(m - 1)!} \cdot t^{\lambda_{i} -1} (- log(t))^{m_{i} - 1}\\ &= \frac{c_{1}}{(m - 1)!} t^{\lambda - 1} (- log(t))^{m - 1} + o\left( t^{\lambda - 1} (- log(t))^{m - 1} \right) \end{align} となります。これより、 \begin{align} \delta\left( t-u^{2k} \right)|u^{h}|b(u)du = t^{\lambda - 1}(- \log t )^{m -1} du^{ * } + o\left( t^{\lambda - 1}(- \log t )^{m -1} \right)\\ \end{align} ただし、 \begin{align} du^{ * } = \left(\frac{1}{(m - 1)!2^{m} \prod^{m}_{j=1}k_{j}}\right)\cdot\delta(u_{a})u^{\mu}_{b}b(u)du \end{align} となることを示す事が出来ました。

事後微小微分の漸近挙動

上記のの漸近挙動を用いて、のの漸近挙動について見ていきます。 は以下のように表すことが出来ます。 \begin{align} \Omega(w) dw &= \int^{\infty} _{0} \frac{dt}{n} \delta \left(\frac{t}{n} - u^{2k} \right) u^{h} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) b(u) du \end{align} ここで、として、 \begin{align} \delta\left( t-u^{2k} \right)|u^{h}|b(u)du = t^{\lambda - 1}(- \log t )^{m -1} du^{ * } + o\left( t^{\lambda - 1}(- \log t )^{m -1} \right)\\ \end{align} を使うと、 \begin{align} \Omega(w) dw =& \int^{\infty} _{0} \frac{dt}{n} \delta \left(\frac{t}{n} - u^{2k} \right) u^{h} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) b(u) du\\ =& \int^{\infty} _{0} \frac{dt}{n} \left( \frac{t}{n}\right) ^{\lambda - 1}\left(- \log \frac{t}{n} \right)^{m -1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) du^{ * } \\ &+ \int^{\infty} _{0} \frac{dt}{n} o\left( (t / n)^{\lambda - 1}(- \log (t/n) )^{m -1}\right) exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) du^{ * }\\ \\ =& \int^{\infty} _{0} dt \,\, t ^{\lambda - 1} \frac{ \left( \log n - \log t \right)^{m -1}}{n ^{\lambda} } exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) du^{ * } \\ &+ \int^{\infty} _{0} dt \cdot o\left( n^{- \lambda} ( \log n )^{m -1}\right) exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) du^{ * } \\ \end{align} となる。ここで、にの分子を展開した形について考えてみると、において、の項が最もへの収束が遅く、の項は第一項（積分の項）よりも収束が早いため \begin{align} \Omega(w) dw =& \int^{\infty} _{0} dt \,\, t ^{\lambda - 1} \frac{ \left( \log n - \log t \right)^{m -1}}{n ^{\lambda} } exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) du^{ * } \\ &+ \int^{\infty} _{0} dt \cdot o\left( n^{- \lambda} ( \log n )^{m -1}\right) exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) du^{ * } \\ \\ =&\frac{ \left( \log n \right)^{m -1}}{n ^{\lambda} } \int^{\infty} _{0} dt \,\, t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) du^{ * } + o\left( \frac{ \left( \log n \right)^{m -1}}{n ^{\lambda} } \right)\\ \end{align} となります。

スケーリング関係と繰り込まれた事後分布

事後微小積分の漸近挙動が判明したので、これを用いて事後分布の挙動を考える事が出来ます。その前に一旦、事後微小積分を導出する中で出てきた、パラメータと元のパラメータとの関係（スケーリング関係）を確認します。特異点定理やデルタ関数の設定より \begin{align} w = g(w),\qquad K(w)=u^{2k} = \frac{t}{n} \end{align} となる事が分かります。また、対数尤度比関数に関する命題より、 \begin{align} f(x,w) = f(x,g(u)) = u^{k}a(x,u) = \sqrt{\frac{t}{n}}a(x,u) \end{align} となります。さらに、 \begin{align} K_{n})(g(u))=u^{2k} - \frac{1}{\sqrt{n}}u^{k} \xi _{n}(u) = \frac{1}{n}(t - \sqrt{t}\xi _{n}(u)) \end{align} となります。

ここで、事後分布による関数の平均]を考えてみます。平均を考えると次のようになります。 \begin{align} E_{w}[f(x,w)^{s}] = \frac{\int f(x,w)^{s} \Omega(w)dw}{\int \Omega(w)dw} \end{align} ここで、分子に着目すると、 \begin{align} \int f(x,w)^{s} \Omega(w)dw =& \int \left(\sqrt{\frac{t}{n}}a(x,u) \right)^{s} \cdot exp(-n \beta u^{2k} + \sqrt{n}\beta u^{k} \xi_{n}(u))|u^{h}|b(u)du \\ =& \int du \int ^{\infty} _{0} dt \cdot \left(\sqrt{\frac{t}{n}}a(x,u) \right)^{s}\cdot \frac{dt}{n} \delta \left(\frac{t}{n} - u^{2k} \right) u^{h} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) b(u)\\ =& \int du^{ * } \int^{\infty} _{0} dt \cdot \left(\sqrt{\frac{t}{n}}a(x,u) \right)^{s} \cdot t ^{\lambda - 1} \frac{ \left( \log n - \log t \right)^{m -1}}{n ^{\lambda} } exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) \\ &+ \int du^{ * } \int^{\infty} _{0} dt \cdot \left(\sqrt{\frac{t}{n}}a(x,u) \right)^{s} \cdot o\left( n^{- \lambda} ( \log n )^{m -1}\right) exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) \\ \\ =& \frac{1}{n^{s/2}} \int du^{ * } \int^{\infty} _{0} dt \cdot \left(\sqrt{t}a(x,u) \right)^{s} \cdot t ^{\lambda - 1} \frac{ \left( \log n - \log t \right)^{m -1}}{n ^{\lambda} } exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) \\ &+ \frac{1}{n^{s/2}} \int du^{ * } \int^{\infty} _{0} dt \cdot \left(\sqrt{t}a(x,u) \right)^{s} \cdot o\left( n^{- \lambda} ( \log n )^{m -1}\right) exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) \\ \\ =&\frac{ \left( \log n \right)^{m -1}}{n ^{\lambda} } \cdot \frac{1}{n^{s/2}} \int du^{ * } \int^{\infty} _{0} dt \cdot \left(\sqrt{t}a(x,u) \right)^{s} \cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) \\ &+ o\left( \frac{\left( \log n \right)^{m -1}}{n ^{\lambda}} \cdot \frac{1}{n^{s/2}} \right)\\ \end{align} となります。 ここで、関数の繰り込まれた事後分布による平均操作を次の様に定義します。 \begin{align} \langle F(t,u) \rangle = \frac{\int du^{ * } \int^{\infty} _{0} dt \cdot F(t,u) \cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) } {\int du^{ * } \int^{\infty} _{0} dt\cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) } \end{align}

すると、 \begin{align} &E_{w}[f(x,w)^{s}] = \frac{\int f(x,w)^{s} \Omega(w)dw}{\int \Omega(w)dw}\\ =& \frac{\frac{ \left( \log n \right)^{m -1}}{n ^{\lambda} } \cdot \frac{1}{n^{s/2}} \int du^{ * } \int^{\infty} _{0} dt \cdot \left(\sqrt{t}a(x,u) \right)^{s} \cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) + o\left( \frac{\left( \log n \right)^{m -1}}{n ^{\lambda}} \cdot \frac{1}{n^{s/2}} \right)} {\frac{ \left( \log n \right)^{m -1}}{n ^{\lambda} } \int du^{ * } \int^{\infty} _{0} dt \cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) + o\left( \frac{\left( \log n \right)^{m -1}}{n ^{\lambda}}\right)\ }\\ =& \frac{ \frac{1}{n^{s/2}} \int du^{ * } \int^{\infty} _{0} dt \cdot \left(\sqrt{t}a(x,u) \right)^{s} \cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) } { \int du^{ * } \int^{\infty} _{0} dt \cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) + o\left( 1 \right) } + o\left( \frac{1}{n^{s/2}} \right)\\ =& \frac{ \frac{1}{n^{s/2}} \int du^{ * } \int^{\infty} _{0} dt \cdot \left(\sqrt{t}a(x,u) \right)^{s} \cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) } { \int du^{ * } \int^{\infty} _{0} dt \cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) } \cdot\\ &\frac{ \int du^{ * } \int^{\infty} _{0} dt \cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) + o\left( 1 \right) - o\left( 1 \right) }{ \int du^{ * } \int^{\infty} _{0} dt \cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) + o\left( 1 \right) } + o\left( \frac{1}{n^{s/2}} \right)\\ \\ =&\frac{1}{n^{s/2}}\langle \ \left(\sqrt{t}a(x,u) \right)^{s} \rangle \left( 1 - \frac{ o\left( 1 \right)}{ \int du^{ * } \int^{\infty} _{0} dt \cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u)) + o\left( 1 \right) } \right)+ o\left( \frac{1}{n^{s/2}} \right)\\ =&\frac{1}{n^{s/2}}\langle \ \left(\sqrt{t}a(x,u) \right)^{s} \rangle +\frac{1}{n^{s/2}} \cdot o\left( 1 \right) + o\left( \frac{1}{n^{s/2}} \right)\\ =&\frac{1}{n^{s/2}}\langle \ \left(\sqrt{t}a(x,u) \right)^{s} \rangle + o\left( \frac{1}{n^{s/2}} \right) \end{align} の様に出来ます。 また \begin{align} \langle t \rangle = \frac{\lambda}{\beta}+\frac{1}{2}\langle \sqrt{t} \xi_{n}(u) \rangle \end{align} と出来ます。 証明は次の通りです。 \begin{align} \langle t \rangle = \frac{\int du^{ * } \int^{\infty} _{0} dt \cdot t ^{\lambda} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u))} {\int du^{ * } \int^{\infty} _{0} dt \cdot t ^{\lambda - 1} exp(-\beta t + \sqrt{t} \beta \xi_{n}(u))} \end{align} ここで、分子のに関する積分を部分積分すると、 \begin{align} \int^{\infty} _{0} e^{-\beta t} t ^{\lambda} e^{\beta \sqrt{t} \xi_{n}(u)}dt &= -\frac{1}{\beta}\left[ e^{-\beta t} t ^{\lambda} e^{\beta \sqrt{t} \xi_{n}(u)} \right]^{\infty}_{0} + \frac{1}{\beta}\int^{\infty} _{0} e^{-\beta t} \left( \frac{d}{dt} t ^{\lambda} e^{\beta \sqrt{t} \xi_{n}(u)} \right)dt \\ &= \frac{\lambda}{\beta}\int^{\infty} _{0} e^{-\beta t} t ^{\lambda - 1} e^{\beta \sqrt{t} \xi_{n}(u)} dt + \frac{1}{\beta}\int^{\infty} _{0} e^{-\beta t} t ^{\lambda} e^{\beta \sqrt{t} \xi_{n}(u)} \cdot \frac{\xi_{n}(u)}{2\sqrt{t}}dt\\ &= \frac{\lambda}{\beta}\int^{\infty} _{0} e^{-\beta t} t ^{\lambda - 1} e^{\beta \sqrt{t} \xi_{n}(u)} dt + \frac{1}{\beta}\int^{\infty} _{0} e^{-\beta t} t ^{\lambda - 1} e^{\beta \sqrt{t} \xi_{n}(u)} \cdot \frac{\sqrt{t} \xi_{n}(u)}{2}dt \end{align} と出来ます。分母はとなるので、分子をで積分して、分母で割ると \begin{align} \langle t \rangle = \frac{\lambda}{\beta}+\frac{1}{2}\langle \sqrt{t} \xi_{n}(u) \rangle \end{align} が得られます。

まとめ

以上より、事後微小微分において、サンプル数の含まれる項を積分の外に出すことが出来ました。これによって、事後分布において、サンプルの影響をのみに集約することが出来ました。

また、事後微小微分を用いて、事後分布による積分やによる積分を計算しました。（このによる積分を「ベイズ統計の理論と方法」では「繰り込まれた事後分布による平均操作」と言います。）

次の記事では、これらを用いてWAICの導出を行いたいと思います。

WAICの導出を追ってみる。その3

概要

前回の記事で、経験誤差の標準形を導きました。これを用いて、分配関数（事後微小積分）を求めるのですが、そのために一旦、分配関数の主要部分を求めておきます。内容としては、「ベイズ統計の理論と方法」のp58-62に相当します。

正規化された分配関数

正規化された分配関数 ですが、次の様に定義されます。 \begin{align} Z^{(0)}_{n}(\beta) = \int \exp\left(-n \beta K_{n}(w)\right) \phi(w)dw = \int\Omega(w)dw \end{align} であり、を事後微小積分といい、広中の特異点解消定理等を用いて、 \begin{align} \Omega(w)dw = \exp\left(-n \beta K_{n}(g(u))\right) \phi(g(u))|g'(u)|du \end{align} とすることが出来ます。

ここで一旦脇道に逸れますが、正規化された分配関数と事後分布の関係を確認します。端的にいえば、事後分布は正規化された分配関数 と経験誤差 から導くことが出来ます。以下は、その導出になります。

まず、「正規化されていない」分配関数 は次の様に定義されます。 \begin{align} Z_{n}(\beta)=\int _{W}\phi(w)\prod^{n}_{i=1}p(x_{i}|w)^{\beta}dw \end{align} ここで、「正規化された」分配関数 と「正規化されてない」通常の分配関数を比較すると \begin{align} Z_{n}(\beta)&=\int _{W}\phi(w)\prod^{n}_{i=1}p(x_{i}|w)^{\beta}dw\\ &=\int _{W}\phi(w)\frac{\prod^{n}_{i=1}p(x_{i}|w)^{\beta}} {\prod^{n}_{i=1}p(x_{i}|w_{0})^{\beta}} \cdot\prod^{n}_{i=1}p(x_{i}|w_{0})^{\beta}dw\\ &=\prod^{n}_{i=1}p(x_{i}|w_{0})^{\beta} \int_{W}\phi(w)\prod^{n}_{i=1}\left(\frac{p(x_{i}|w)}{p(x_{i}|w_{0})}\right)^{\beta}dw\\ &=\exp\left(\log\left(\prod^{n}_{i=1}p(x_{i}|w_{0})^{\beta}\right)\right) \int_{W}\phi(w)\exp\left(\log\left(\prod^{n}_{i=1}\left(\frac{p(x_{i}|w)}{p(x_{i}|w_{0})}\right)^{\beta}\right)\right)dw\\ &=\exp\left(\beta\sum^{n}_{i=1}\log(p(x_{i}|w_{0}))\right)\int_{W}\phi(w)\exp\left(\beta\sum^{n}_{i=1}\log\left(\frac{p(x_{i}|w)}{p(x_{i}|w_{0})}\right)\right)dw\\ &=\exp\left(-n \cdot \frac{-1}{n}\beta\sum^{n}_{i=1}\log(p(x_{i}|w_{0}))\right)\int_{W}\phi(w)\exp\left( n \cdot \frac{1}{n} \beta \sum^{n}_{i=1} -f(x_{i}|w) \right)dw\\ &=\exp\left(-n \beta L_{n}(w_{0})\right) \int_{W}\phi(w)\exp\left(-n \beta K_{n}(w)\right)dw\\ &=\exp\left(-n \beta L_{n}(w_{0})\right) \cdot Z^{(0)}_{n}(\beta) \end{align} の様に、経験対数損失を介して二つは関係付けられます。この関係より事後分布は次の様に表せます。 \begin{align} P(w|x^{n})&=\frac{1}{Z_{n}(\beta)}\phi(w)\prod^{n}_{i=1}p(x_{i}|W)^{\beta}\\ &=\frac{\exp\left(n \beta L_{n}(w_{0})\right)}{Z^{(0)}_{n}}\phi(w)\prod^{n}_{i=1}p(x_{i}|w)^{\beta}\\ &=\frac{\exp\left(-\beta \sum^{n}_{i=1}\log(p(x_{i}|w_{0}))\right)}{Z^{(0)}_{n}}\phi(w)\prod^{n}_{i=1}p(x_{i}|w)^{\beta}\\ &=\frac{\prod^{n}_{i=1}p(x_{i}|w_{0})^{-\beta}}{Z^{(0)}_{n}}\phi(w)\prod^{n}_{i=1}\left(p(x_{i}|w)\right)^{\beta}\\ &=\frac{1}{Z^{(0)}_{n}}\phi(w)\prod^{n}_{i=1}\left(\frac{p(x_{i}|w)}{p(x_{i}|w_{0})}\right)^{\beta}\\ &=\frac{1}{Z^{(0)}_{n}}\phi(w)\exp\left(\beta\sum^{n}_{i=1}\log\left(\frac{p(x_{i}|w)}{p(x_{i}|w_{0})}\right)\right)\\ &=\frac{1}{Z^{(0)}_{n}} \phi(w) \exp\left( n \cdot \frac{1}{n} \beta \sum^{n}_{i=1} -f(x_{i}|w) \right)\\ &=\frac{1}{Z^{(0)}_{n}} \phi(w) \exp\left( -n \beta K_{n}(w) \right) \end{align}

この様に、事後分布は正規化された分配関数 と経験誤差 から導くことが出来ます。

正規化された分配関数の主要項と非主要項

正規化された分配関数ですが、での0への収束速度に応じて、主要項と非主要項に分けます。この記事では、非主要項の挙動（で0に収束）を導いて、以降は主要項（後の記事で示しますがで0に収束）のみ扱えばいい様にします。

まず、正規化された分配関数を次の様に主要項と非主要項に分けます。 \begin{align} Z^{(0)}_{n}(\beta)&=Z^{(1)}_{n}(\beta)+Z^{(2)}_{n}(\beta)\\ \end{align}

\begin{align} Z^{(1)}_{n}(\beta) &= \int_{K(w) < \epsilon} \exp \left( -n \beta K_{n}(w) \right)\\ Z^{(2)}_{n}(\beta) &= \int_{K(w) \geq \epsilon}\exp\left( -n \beta K_{n}(w) \right) \end{align} ここでは単調現象関数で \begin{align} \lim_{x \to \infty} \epsilon(n) &=0 \end{align}

\begin{align} \lim_{x \to \infty} \sqrt{n}\epsilon(n) &= \infty \end{align}

といった挙動を示します。

確率過程と中心極限定理

上記の分配関数の非主要項の挙動を確認するために、一旦、対数尤度比関数に関する確率過程 \begin{align} \xi_{n}(w) = \frac{1}{\sqrt{n}} \sum^{n}_{i=1} (K(w)-f(x_{i}|w)) \end{align} の挙動について考えます。 このですが、平均で、に対し相関が \begin{align} E_{x}[f(x|w)f(x|w')]-K(w)K)(w') \end{align} となる様です。（おそらくは、展開してを大数の法則でと置き換えたのだと思います。） また、このはと同じ平均と相関をもつ正規確率過程に法則収束する様です。 「ベイズ統計の理論と方法」の8章に一応記載はあるものの、説明が荒く専門の書籍を当たった方が良さそうな感じですが、恐らくは、中心極限定理の関数版の定理から導かれている様です。

一応、中心極限定理について記載しておくと、

確率変数は平均で相関の正規分布にで法則収束する

というものです。

正規化された分配関数の非主要項の挙動

上記、色々と説明してきましたが、ようやく本記事の本題に移ります。ここは「ベイズ統計の理論と方法」の補題12について説明します。補題12は下記のものになります。

非主要項は \begin{align} Z^{(2)}_{n}(\beta) = o_{p}(exp(-\sqrt(n))) \end{align} のオーダーでに収束する。

導出は以下になります。 まず、 \begin{align} K_{n}(w)&=K_{n}+K(w)-K(w)\\ &=K(w)+\frac{1}{n}\sum^{n}_{i=1}f(x_{i}|w) -K(w)\\ &=K(w)-\frac{1}{\sqrt{n}}\xi_{n}(w) \end{align} と出来ます。これにより非主要項は \begin{align} Z^{(2)}_{n}(\beta) &= \int_{K(w)\ge \epsilon}exp(-n \beta K_{n}(w))\phi(w)dw\\ &= \int_{K(w)\ge \epsilon}exp(-n \beta K(w) + \sqrt{n}\beta\xi_{n}(w))\phi(w)dw\\ \end{align} と出来ますが、なので、 \begin{align} Z^{(2)}_{n}(\beta) &= \int_{K(w)\ge \epsilon}exp(-n \beta K(w) + \sqrt{n}\beta\xi_{n}(w))\phi(w)dw\\ &\le \int_{K(w)\ge \epsilon}exp(-n \beta \epsilon + \sqrt{n}\beta\xi_{n}(w))\phi(w)dw\\ &\le \int_{K(w)\ge \epsilon}exp(-n \beta \epsilon + \sqrt{n}\beta\sup_{w} \xi_{n}(w))\phi(w)dw\\ &=exp(-n \beta \epsilon + \sqrt{n}\beta\sup_{w} \xi_{n}(w))\int_{K(w)\ge \epsilon}\phi(w)dw\\ &\le exp(-n \beta \epsilon + \sqrt{n}\beta\sup_{w} \xi_{n}(w))\int_{W} \phi(w) dw\\ &= exp(-n \beta \epsilon + \sqrt{n}\beta\sup_{w} \xi_{n}(w)) \end{align} となります。ここで、との相加相乗平均より \begin{align} \sqrt{n}\xi_{n} &\le \left( \frac{\sqrt{n\epsilon} + \frac{\xi_{n}(w)}{\sqrt{\epsilon}}}{2} \right)^{2}\\ &\le \frac{n\epsilon + 2\sqrt{n}\xi_{n}(w) + \frac{\xi_{n}(w)^{2}}{\epsilon}}{4} \\ \end{align} 上式の両辺2倍して整理すると、 \begin{align} \sqrt{n}\xi_{n} &\le \frac{n\epsilon + \frac{\xi_{n}(w)^{2}}{\epsilon}}{2} \end{align} となります。 これより、 \begin{align} Z^{(2)}_{n}(\beta) &\le exp(-n \beta \epsilon + \sqrt{n}\beta\sup_{w} \xi_{n}(w))\\ &= exp\left(-\frac{n \beta \epsilon}{2} + \frac{\beta \xi^{2}_{n}(w)}{2\epsilon}\right)\\ &= exp\left(-\frac{\sqrt{n} \cdot \sqrt{n} \beta \epsilon}{2} + \frac{\sqrt{n} \beta \xi^{2}_{n}(w)}{\sqrt{n}2\epsilon}\right)\\ &= exp\left(-\sqrt{n} \cdot \left( \frac{ \beta \sqrt{n} \epsilon}{2} + \frac{ \beta \xi^{2}_{n}(w)}{2 \sqrt{n} \epsilon} \right) \right)\\ \end{align} となります。ここで、となるので、指数の括弧内の分数の和はとなり、なので、でに収束することが分かります。

本記事では、非主要項がでと収束することが分かったので、以降は主要項のみ考えていきます。

WAICの導出を追ってみる。その2

概要

この記事では、WAICの導出に出て来る、経験誤差の標準形の導出について確認して行きたいと思います。 具体的には前回記事の

経験誤差関数を
$$ nK_{n}(w)=n{u^{2k} - \sqrt{n}u^{k}\xi_{n}(u)}, \quad \xi_{n}(u) = \frac{1}{\sqrt{n}}\sum^{n}_{i=1}{u^{k} - a(X_{i},u)} $$
と変形する。

について確認します。（大体「ベイズ統計の理論と方法」のp.88~p.98の内容になります。）
この導出の狙いとしては、WAICの導出に向けて、経験誤差のの挙動を知る必要がありますが、そのためにをサンプリングの確率的な変動の影響を受ける部分と確率的な変動を受けない部分（平均誤差に相当）に整理します

特異点定理の適用とその周辺

まず、平均誤差関数に広中の特異点定理を適用します。

特異点定理について説明すると、平均誤差について、パラメータを、からへと写す関数で $$ K(g(u))=u^{2k} =\prod_{i=1}^{d}u_{i}^{2k_{i}} $$ のようにパラメータを置き換えることができ、その時のヤコビアンは $$ |g'(u)|=b(u)|u^{h}|=b(u)|\prod_{i=1}^{d}u_{i}^{h_{i}}| $$ となります。ここで、は解析関数（たぶん、定義域（複素数領域）でテイラー展開が可能であること）です。また、はを要素とする多様体の局所座標ごとに異なります。
（多様体や局所座標云々は、後で出て来る近似（メリン変換）の都合上、の範囲をとしたいので、その範囲外は別の局所座標でカバーするようにしたいという感じだと思います。）

色々と出てきますが、つまる所 とできるということです。 (以後では上記の様に、パラメータの複数の指数をまとめて、と表記します。（この様な表記を多重指数という様です。）)

補題20　　の証明

次に補題20の証明に入ります。
補題20では、相対的に有限な分散 $$\it{E}_{X}\left[ f(X,w)\right] \ge c \it{E}_{X} \left[ f(X,w)^{2} \right] $$ という条件の下、対数尤度比関数を $$ f(x,w)=f(x,g(u))=u^{k}a(x,u) $$ とできる事を証明します。 この補題は、を確率的に変動するに依存する部分と依存しない部分の積とすることで、経験誤差をサンプルサイズに依存する部分とサンプルの確率的ゆらぎの部分に分けるための下準備になっています。

証明は下記の流れになります。

について、 $$ \it{E}_{X} \left[ f(x,w) \right]=K(w)=u^{2k} $$

と表すことができ、相対的に有限な分散より、 $$ u^{2k}=\it{E}_{X} \left[ f(x,w) \right] \ge c_{0} \it{E}_{X} \left[ f(X,w)^{2} \right] $$

となり、不等式の両辺をで割ることで、 $$ 1 \ge c_{0}E_{X}\left[\left(\frac{f(X,w)}{u^{k}}\right)^{2}\right] $$ となります。
ここから、背理法を使います。 「がで割り切れない」と仮定すると、 $$ f(x,w) = u^{k}a(x,u) + b(x,u) $$ と表せ、 $$ \frac{f(x,w)}{u^{k}} = a(x,u) + \frac{b(x,u)}{u^{k}} $$ となります。第二項の絶対値はの時、有界とならないので、上記の不等式と矛盾することとなるので、「がで割り切れない」という仮定が誤りとなることが言えます。 よって、 $$ f(x,w)=u^{k}a(x,u) $$ となることが示せました。

経験誤差の標準形の導出

次に経験誤差の標準形の導出に向けて、下記の様に経験過程を定義します。 $$ \xi_{n}(u) = \frac{1}{\sqrt{n}}\sum^{n}_{i=1}{u^{k} - a(x_{i},u)} $$

この経験過程を使って、経験誤差の標準形 \begin{align} nK_{n}(w)=n{u^{2k} - \sqrt{n}u^{k}\xi_{n}(u)} \end{align} を導出します。（定理7）

\begin{align} nK_{n}(g(u)) &=n \cdot \frac{1}{n}\sum^{n}_{i=1}{f(x_{i},w)}\\ &=\sum^{n}_{i=1}{u^{k}a(x_{i},u)}\\ &=n \cdot u^{2k}-n \cdot u^{2k}+\sum^{n}_{i=1}{u^{k}a(x_{i},u)}\\ &=nu^{2k} - \sum^{n}_{i=1}{u^{2k}} - \sum^{n}_{i=1}{u^{k}a(x_{i},u)}\\ &=nu^{2k} -\sqrt{n} \cdot \frac{1}{\sqrt{n}}u^{k}\sum^{n}_{i=1}{u^{k}-a(x_{i},u)}\\ &=n{u^{2k} - \sqrt{n}u^{k}\xi_{n}(u)} \end{align}

定理７によって、経験誤差をサンプルサイズに依存する部分とサンプルの確率的変動に依存する部分に分けることができました。

以降では、この結果を使って事後分布（事後微小積分）を求めていきます。

WAICの導出を追ってみる。その1

WAIC導出のモチベーション

WAICの導出を追ってみたいと思います。データ分析の周辺界隈では、良く中身は分からなくとも使えればいい的な発言を聴くことが多々ありますが、専門が違うならいざ知らず、自分の専門を使えればいいというのは余りにも志しが低すぎるし、そういったスタンスだと、文字通り日進月歩の状態にあるデータ分析界隈の進歩について行けなくなる（論文や教科書を読んでも中身が理解できず、素人向けの意図的に不明瞭（SF的な）説明を誰かがするまで待たないといけなくなる）のは明白なので、自分の勉強がてら（誤り恐れずに笑）追って見たいと思います。（まあ正直なところは、学習理論を類似の分野に持って行けば、論文の元ネタにでもならないかなという下心は満載ですが笑）

WAICの導出を追うための本としては、「ベイズ統計の理論と方法」（渡辺澄夫　著）を使います。この本一応は専門分野外の人にも分かる様に簡単に書かれたと前書きにあるのですが、多分専門分野外の人はほぼ間違いなく挫折すると思います。感覚的には機械学習の専門家でも応用寄りの人だと、結構な割合で証明を読み飛ばしたり、途中で諦めたりすることになるんじゃないかなと思います。（WAICの利用を目的とすると本書を読むのは「コスパ悪いな」的になると思います。）

というのも、序盤から自由エネルギーやら、分配関数やら統計力学の援用が当然のごとく出てきますし、本丸のWAICの導出では、多様体やら、特異点解消定理やら、メリン変換やら、ゼータ関数やら色んな用語が出てきてほぼ間違いなく面を喰らうと思います。また、時々行間が飛び過ぎていたり、補題と定義と定理の連続に、まるでRPGで次から次へと出て来るダンジョンやボスを攻略している様な気持ちになります。（私だけか笑） しかしながら、本書は解説が厚く、式変形も基本的には平易に仕上がっていて、大分わかりやすい様に思います。

とりあえず、私としては全体の流れを掴みつつも、必要な行間は埋めることを目標として、内容を整理できればと考えています。

WAICの導出の構成

WAICの導出の大雑把な構成は

1. 対数尤度比関数を特異点解消定理を用いて、へと変形する。(ここで、WAICの前提となる「相対的に有限な分散」を用いる。)

2. 経験誤差関数を
   
   と変形する。 また、事前分布を
   
   と変形する。（ちなみに、正則の場合は、近傍で、を2次式で展開（平均値の定理使用）した際に、の係数行列が正則（逆行列や行列の乗が定義可能）なので平方完成ができ、事後微小微分を正規分布で近似でき、以後の導出がシンプルになる。）

3. ちなみに、上記のは正規確率過程に法則収束する。（個人的には多分ここ重要）

4. 分配関数を主要項と非主要項（オーダーで0に収束）に分ける。

5. 主要項の領域（よりもゆっくり0に収束するに対して、となるの領域）での、事後微小積分（正規化分配関数はと表される。）の挙動を調べて（メリン変換後の最大の極を調べると、主要な部分が分かり整理できる。）主要な部分を求めて整理する（定理9の証明）

6. 繰り込まれた事後分布による期待値、スケーリング則を求める

7. 汎化損失、経験損失と汎関数分散]の挙動から、ベイズ統計学の状態方程式とWAICを導出する。

となっていると思っています。著者の別の資料にありましたが、5.までが主要なところ（工夫満載なところ）なので、それ以降は粛々とといった所だと思います。

WAICの理解ポイント

WAICの導出は上記の様に導かれますが、理解するためのポイントを下記にまとめておきます。

1. ベイズの定理の尤度をKLダイバージェンスのサンプルでの近似（経験誤差）に置き換えて表現します。

2. 広中の特異点解消定理を使いて、汎化誤差をパラメータで、とを用いて表現します。その時、パラメータがとなる様にします。

3. 経験誤差（KLダイバージェンスのサンプル近似）をとサンプルに依存する確率変数で表現します（経験誤差関数の標準形）。ここで、は大数の法則で、で正規分布に漸近する事に注意します。

4. 経験誤差の標準形を用いてベイズの定理(事後微小微分)を表現します。ここで、事後確率の大小について考えるとの時が小さく、が大きくなるの事後確率が相対的に大きくなり、支配的になる事が分かります。ここで であることから、が大きく、が小さいについて、が近傍で、それ以外のがの近傍にあるの事後分布が相対的に大きく支配的になります。このためが最小となる添字について、近傍での挙動を調べる事ができれば（「ベイズ統計の理論と方法」では、メリン変換による解析接続によって挙動を調べます。）、事後分布（事後微小分布）の挙動を知る事が出来ます。

5. 事後分布（の極限）で確率変数を積分が、尤度関数からなる多項式の平均によってあらわせるため、MCMCを用いれば、が評価でき、これを用いてWAICを導出します。

結局のところWAICは汎化損失にベイズの定理のサンプルでのゆらぎに対する評価を加えたものになっています。

全体は決して短くはありませんが、ひとつひとつ整理していければなと思います。