最尤推定はいつなら大丈夫？
問い： 混合正規分布や神経回路網などの構造を持つ学習モデルでは 最尤推定は漸近的にも有効性を持たず、非常に大きな汎化誤差や 符号長を持つと聞いたのですが、最尤推定はいつなら大丈夫でしょうか。 答え： パラメータの集合と確率分布の集合が一対一に 対応していて、かつ、フィッシャー情報行列が逆行列を 持つ場合であれば、最尤推定は漸近正規性を持ち、 漸近有効です。このとき、非常に多くのサンプルがあれば、 具体的には、フィッシャー情報行列の最も 小さい固有値までが、はっきりと見えるくらい多くの 学習データがあれば、最尤推定量を使っても安全といえるでしょう。 尤度関数が正規分布で近似できるということが最尤推定量が安全に 使える条件です。次のことに十分に注意してください。「最尤推定が 安全に使えるかどうかは、最尤推定量を計算しただけではわからない」。 以上の条件を満たさない場合には 最尤推定量は統計的推
事前分布について
渡辺ホームに戻る 私たちの研究室で行ってきた研究成果の中に ベイズ法や変分ベイズ法の数学的構造の解明があります． その発表の際に事前分布あるいは事前確率について尋ねられることが多いので， まとめておくことにしました． ☆☆☆ 統計モデルおよび事前分布については，100年近く以前の誤った考えがあまりにも広まってしまっているので， 多くの人にとって，このページを読むためには先入観や「解説本の説明」をいったん忘れて， 自分自身で考えていただく必要があるかもしれません． 以下で説明することは現代の統計学者にとってはごく普通のことです． 普通すぎるので改めて言葉で語られることがないだけです． (注１）【ベイズ法は主観的で・最尤法は客観的】という意見は100年くらい前の誤った考えです． ベイズ法でも最尤法でも「統計モデルが主観的に定められている」という点は同じです（注３，注４）。 事前分布はモデリング
初めての WAIC と WBIC
Sumio Watanabe Homepage なぜ，新しい理論と方法が必要なのでしょうか？ 定義と説明は WAIC と WBIC にあります． 具体的な例で説明します．混合正規分布を考えましょう． モデル選択の問題：「サンプルを発生した真の分布は，いくつの正規分布からできているか？」 【実験例】真のパラメータ (0.5,0.3) で定まる確率分布から独立に X1, X2,...,Xn を 発生して，事後分布をＭＣＭＣ法で作りました（事前分布は 0≦a≦1, -5≦b≦5 上の一様分布です）． 図で，○は事後分布を表します．● は真のパラメータです． 真のパラメータにおけるフィッシャー情報行列 I(0.5,0.3) は正定値です． 従って，n が『十分に大きければ』事後分布は正規分布で 近似できます（フィッシャーの漸近理論あるいはラプラス近似理論）． しかしながら， 上の図から事後分布は正
広く使える情報量規準(WAIC)
このページをご覧いただき、ありがとうございます。 ここでは、情報量規準 WAIC を紹介しています。 ベイズ推測のための情報量規準(WAIC)が導出されました。 WAIC は（真の分布、確率モデル、事前分布）がどのような場合でも使う ことができます。他の規準と異なり理論的な基盤を持っています。 (0) モデル選択やハイパーパラメータの最適化に使えます。 (1) 漸近的に汎化損失と同じ平均値と同じ分散を持ちます。 (2) WAIC は簡単に計算できます。 (3) 真の分布が確率モデルで実現可能でなくても使えます。事前分布が真の事前分布でなくても使えます。 (4) 平均対数損失を最小にするパラメータがユニークでなくても使えます。 平均対数損失を最小にするパラメータが特異点を含む解析的集合であっても 使えます（注１）。 (5) フィッシャー情報行列が正則でなくても使えます。 (6) 事後分布が正
ベイズ推論：いつも何度でも尋ねられること
このページをご覧頂き、ありがとうございます。 「ベイズと最尤のどちらが正しいのか」と、いつも何度でも尋ねられます。 「事前分布は何が正しいのか」と、いつも何度でも尋ねられます。 ここでは、できるだけ短く、その質問についての返答を述べます。 １．正しい統計的推論は存在しない 統計学が扱う問題では、ほとんどの場合、基礎となる確率がわからないので、 特別な場合を除いて、正しいモデル・正しい事前分布・正しい推論というものは存在しません。 条件が不足したり過剰だったりして答えられない問題のことを【不良設定問題】と いいます。 統計学は不良設定問題を扱う学問です。 この世にあるほとんどの問題は程度の違いこそあれ、みな不良設定です。 まずは「統計学は不良設定問題を扱う学問である」ということを理解しましょう。 基礎となる確率が定められていなければ【正しい統計的推論】は存在しません。 （注） 基礎となる確率
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
