特異点の解消
多項式 x^4-x^2y+y^3=0 で表される集合 V の特異点を解消して みましょう。原点Ｏは，この集合の特異点です。 「原点を中心とした V のブローアップ」のことを B_O(V)と書きます。 特異点を解消すると次のようになります。 このように、ある部分を引き伸ばして二つ以上の座標を作る ことをブローアップといいます。 特異点のところを中心にしてブローアップすることで特異点を解消することができます。 もともとひとつだったものが二つになるのは数学的に自然でないと感じる人は、 「二つの座標が実はひとつのものの異なる側面をみたものである」という気持ちになって、 二つの座標のもともと同じだった点を貼り合わせると次の図のようになります。 これがブローアップを用いた特異点の解消です。 ブローアップでできる集合は向きづけ可能であるとは限りません。 下の図のように「メビウスの帯」のような形をしている
縮小ランク回帰
M 次元のベクトル x から N 次元のベクトル y への 写像で雑音 S が加わるもの y = Lx + S を考えます。L は線形写像を表す行列です。 実世界の問題において、 L がフルランクであることは 少なく、L のランクが M, N よりも小さいことが しばしば起こります。 仮に L のランクが H であると考えて、 Ax が H 次元のベクトルになるように設計したモデル y=BAx + S のことを縮小ランク回帰といいます。つまり A は M 次元ベクトルから H 次元ベクトルへの線形写像です。 ここで B と A が 行列で、この二つがパラメータです。 現実の問題では、真のランクはわかりませんが、 データから真のランクを 知るにはどうしたら良いでしょうか。 この問題を考えるとき、真のランクが r であるときの 確率的複雑さや汎化誤差の挙動がわかっていると、データから 計算した
Author's page : Algebraic Geometry and Statistical Learning Theory
Algebraic Geometry and Statistical Learning Theory Welcome to Author's Page Sumio Watanabe, ``Algebraic geometry and statistical learning theory," Cambridge University Press, Cambridge University Press, Cambridge, UK, 2009. Cambridge University Press in Cambridge Monographs on Applied and Computational Mathematics Google Search : Algebraic geometry and statistical learning theory Google Search : I
Bayesian Statistics
1 ベイズ統計入門 ⑦ 目標 正則モデルの選択 東京工業大学 渡辺澄夫 旅の地図 (1) ベイズ統計の定義 (2) 密度と条件つき密度 (3) 混合正規分布＋ギブスサンプラー (4) 神経回路網＋ランジュバン方程式 (5) 真とモデルの関係 (6) 正則モデルの漸近理論 (7) AIC と BIC (8) ハイパーパラメータ最適化 (9) 一般モデルの漸近理論 (10) 一般モデルの漸近理論 (11) 一般モデルの選択 (12) 条件つき独立 高次元 (13) 階層ベイズ (14) 相転移 (15) まとめ 3 １ 赤池情報量規準 4 どれが真に近いのか 5 理論によりわかったこと 真の分布が統計モデルにより実現可能であり、 事後分布が正規分布で近似可能である場合には Fn = nLn(w*) + (d/2) log n +Op(1) E[ Gn ] = L0 + d/(2n) + o(1
真の分布を知ることができる限界について
渡辺澄夫に戻る このページをお読みいただきありがとうございます。 汎化誤差 と WAIC の数学的関係に興味をお持ちいただき、本当にありがとうございます。 このページでは「汎化誤差を推定することの理論的な限界」について考えています。 議論をシンプルにするため、統計モデルが真の分布を実現できる場合を考えます。 Gn, Wn, S, Sn をそれぞれ、汎化損失、WAIC、真の分布のエントロピー、真の分布の経験エントロピーとします。 またλを対数閾値とします。このとき (Gn-S) + (Wn-Sn )= 2λ/n +op(1/n) 式(1) が成り立ちます。Wn のかわりに一つ抜き交差検証誤差(LOOCV)を用いても同じ式が成り立ちます。 WAIC と LOOCV は漸近等価だからです。 （注）証明が必要なかたは恐縮ですが拙著「ベイズ統計の理論と方法、コロナ社,2012,p.119」を
数学と実世界が出あうとき
数学と実世界が出あうとき 数学の祭典 MathPower 六本木ニコファーレ 2018年10月7日 渡辺 澄夫 東京工業大学 この講演では 中澤俊彦さん（ドワンゴ）に お世話になりました。御礼を申し上げます。 このファイルについて このファイルは2018年10月7日に数学の祭典 MathPower で講演したときのものです。 数学を愛する一般のみなさまに、数学の不思議さや広がりについて楽しんでいただく 目的で書かれています。 １ 初めて人工知能や機械学習に出会ったかたは下記をご覧ください。 http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/suzaka2016.pdf ２ 統計学や機械学習のエンジニアのかたは、下記をご覧ください。 http://watanabe-www.math.dis.titech.ac.jp/users/
PowerPoint プレゼンテーション
ベイズ事後分布の相転移について 東京工業大学 渡辺澄夫 産総研人工知能セミナー 2018年7月30日 東京都江東区青海二丁目5番10号 テレコムセンタービル東棟14階 Asia Startup Office MONO 2 もくじ １ 学習モデルと事前分布 ２ 対数（和（指数））の性質 ３ ベイズ学習の復習 ４ 神経回路網 ５ 混合正規分布 ６ まとめ この研究は極めて多くの学問分野と関係を有しておりますが 途中の「分岐」については時間の関係でご紹介できません。 3 １ 学習モデルと事後分布 4 隠れマルコフモデル 混合正規分布 確率文法 ベイズネット 深層学習 X Y Z W U V S T ＝ 行列分解 いろいろな学習モデルがあります 5 事後分布 exp(-nH(w)) の中の神経回路網 温度 1/n 事後分布 exp(-nH(w)) の中の神経回路網 http://watanabe-
現代の数学について
2010年の３月に，確率論の先生がたのご厚意により，日本数学会で講演の機会を 頂きました。次のものはそのときの原稿を修正したものです。 2010年3月24日講演原稿 。講演を聴いてくださったかたはおおよそ100名くらい だったと思います。誠にありがとうございました。 この研究は、学習理論において現れる確率変数の漸近挙動を解明したものです。 この研究を行うにあたって直接に必要になった数学は「特異点解消定理」 「特異的な超関数の漸近展開の方法」「関数空間上の中心極限定理」の三つです。 この三つの数学を基礎として、汎化誤差と学習誤差の漸近挙動を 二つの双有理不変量で特徴づけることが可能になりました。これは、統計学としては、 AIC や BIC の概念を、Fisher 情報行列が正則でないモデルにおいても成立するように 拡張したものに相当します。 もちろん、数学においては、幾つかの定理だけがピンポ
広く使える情報量規準(WAIC)の続き
このページでは WAIC の追加説明を行っています。 WAIC の基本事項の説明は WAIC をお読みください。 以下は、WAICについてより広く理解したいかたのための注意事項です。 以下で述べることをお読みにならなくても WAIC は誰でも利用することができます。 （注０）【値のスケーリング】 情報量規準の値を定義するとき、AIC や DIC のオリジナルに合わせて 汎化損失の 2n 倍を用いることがあります。 （たとえば 「Gelman他, Bayesian Data Analysis, CRC Press,2013」の記述では 2n倍の ものが用いられています）。それはすなわち AIC=－２×対数尤度＋2×パラメータ数 にスケールを合わせて比べることができるということです。 この意味でスケールを合わせたい場合には、上記の WAICの式を 2n 倍してください。 ○ この「2n倍」を用
最尤推定はいつなら大丈夫？
問い： 混合正規分布や神経回路網などの構造を持つ学習モデルでは 最尤推定は漸近的にも有効性を持たず、非常に大きな汎化誤差や 符号長を持つと聞いたのですが、最尤推定はいつなら大丈夫でしょうか。 答え： パラメータの集合と確率分布の集合が一対一に 対応していて、かつ、フィッシャー情報行列が逆行列を 持つ場合であれば、最尤推定は漸近正規性を持ち、 漸近有効です。このとき、非常に多くのサンプルがあれば、 具体的には、フィッシャー情報行列の最も 小さい固有値までが、はっきりと見えるくらい多くの 学習データがあれば、最尤推定量を使っても安全といえるでしょう。 尤度関数が正規分布で近似できるということが最尤推定量が安全に 使える条件です。次のことに十分に注意してください。「最尤推定が 安全に使えるかどうかは、最尤推定量を計算しただけではわからない」。 以上の条件を満たさない場合には 最尤推定量は統計的推
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Singular Learning Theory 2023
Singular Learning Theory
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/sing_learn.pdf
Mathematical Foundation of Statistical Learning
学習理論よ 何処へ
http://watanabe-www.math.dis.titech.ac.jp/users/aoyagi/translate.pdf