真の分布を知ることができる限界について

渡辺澄夫に戻る このページをお読みいただきありがとうございます。 汎化誤差 と WAIC の数学的関係に興味をお持ちいただき、本当にありがとうございます。 このページでは「汎化誤差を推定することの理論的な限界」について考えています。 議論をシンプルにするため、統計モデルが真の分布を実現できる場合を考えます。 Gn, Wn, S, Sn をそれぞれ、汎化損失、WAIC、真の分布のエントロピー、真の分布の経験エントロピーとします。 またλを対数閾値とします。このとき (Gn-S) + (Wn-Sn )= 2λ/n +op(1/n) 式(1) が成り立ちます。Wn のかわりに一つ抜き交差検証誤差(LOOCV)を用いても同じ式が成り立ちます。 WAIC と LOOCV は漸近等価だからです。 （注）証明が必要なかたは恐縮ですが拙著「ベイズ統計の理論と方法、コロナ社,2012,p.119」を

[omega314]

汎化誤差及びその周辺をマジメに考えて勉強したことが無かったので、東大准教授の人を私は笑えない。