Kullback-Leibler
1 Kullback-Leibler Sanov 2016 6 16 ∗ http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf : http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler/ Ver.0.1 10 . 0 3 1 Kullback-Leibler 4 1.1 qi . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2 . . . . . . . . . . . 6 1.3 Kullback-Leibler . . . . . . . . . . . . . . 6 1.4 Kullback-Leibler . . . . . . . . . . . .
Companion webpage to the book "Mathematics for Machine Learning"
Companion webpage to the book "Mathematics for Machine Learning". Copyright 2020 by Marc Peter Deisenroth, A. Aldo Faisal, and Cheng Soon Ong. Published by Cambridge University Press. View the Project on GitHub View On GitHub Please link to this site using https://mml-book.com. Twitter: @mpd37, @AnalogAldo, @ChengSoonOng. We wrote a book on Mathematics for Machine Learning that motivates people to
よくわかる測度論とルベーグ積分。 - べっく日記
今日はとても寒く、秋らしい天気だ。一般に秋になると、「〇〇の秋」という言葉を聞くけれども、〇〇に好きな言葉を入れれば秋らしくなるので不思議である。 さて、趣味のTwitterを眺めていると、測度論がわからないというツイートを見た。私は一応測度論のTAをやっているので、今回は測度論をざっくりわかりやすくまとめることにした。測度論は解析系や統計系では必須の道具である。私は解析系の人間なので、今回はルベーグ積分の基本であるFubiniの定理や単調収束定理、ルベーグの収束定理、積分記号下での微分をゴールに解説をすることにした。 以下、この記事のメニューである。 ０．測度論の心 １．測度の定義 １-１．完全加法族 １-２．測度 １-３．測度空間 １-４．測度の性質 ２．ルベーグ積分の定義 ２-１．特性関数 ２-２．階段関数 ２-３．ルベーグ積分の定義 ２-４．リーマン積分とルベーグ積分との関係 ２-
何なんだろうな。あいじょうって。「10のi乗」みたいな数を考える - アジマティクス
みなさんは、好きな複素数ってありますか？（ただし実数は除く） 「好きな整数」を持ってる人なら少なくないと思います。それこそラッキー7の7とか。自分の誕生日とか。691とか。 「好きな実数」まで広げても、eとかπとかとか、いろいろあるでしょう。 でも、「複素数」となると？ 「私の好きな複素数は○○です」って言ってる人、ほとんど聞いたことないです。あったとしても、2乗して-1の「」そのものとか、3乗すると1になる「ω（）」とかぐらいのものでしょう。 これって不思議だと思うんですよね。整数だったら2でも3でも163でも、それぞれに面白い性質が山ほどあることを思うと、例えば「」や「」などという個別の複素数にもそれぞれに面白い性質はいくらでもある、と考えるのは当然でしょう。でも、個別の整数について面白い性質を知っているほどには、個別の複素数の持つ面白い性質をわれわれは知らない。不思議です。 そういう
勾配法は本当に鞍点近傍にはまるのか？モース理論で考えてみる - Qiita
TL;DR 勾配法はほとんどのケースで極小点に収束する（鞍点には収束しない） この事実は力学系や最適化の分野ではよく知られているが，機械学習では新しい？ 数年前にバズった勾配法の比較動画は実際の学習現象を説明できていないかも 鞍点の近傍での振舞いで差がつく？ いや，そもそも鞍点近傍に流れ込まないかも 比較動画に登場した鞍点は，実際にはまず生じないタイプかも 機械学習にも役立つモース理論 ほとんどすべての関数はモース関数 モース関数の臨界点のタイプはわずか $d+1$ 種類（$d$ は定義域次元） 安定/不安定多様体とモース・スメール複体で勾配法の流れは分かる Monkey saddleはまず現れない（もし現れても簡単に消せる） 量的な問題に関しては，結局は実験するしかない この記事を書いたきっかけ 昨夜，ある論文を見かけて，ふとこんなツイートをした． ML業界，「勾配法が鞍点に収束する確率
共役勾配法 - 大人になってからの再学習
まず最急降下法について。 最適化問題の局所的探索法に最急降下法がある。 この最急降下法の考え方は次のような感じ。 「最も勾配が急な方向に進みましょう。その方向で一番低い場所に到達したら、進む向きを変えましょう。新しい方向は、その地点で最も勾配が急な方向です。これを繰り返すことで、やがては最も低い点に到着するでしょう。」 考え方は単純でわかりやすい。 その性質上、向きを変えるときには、それまでの進行方向と新しい進行方向が直交し、直角にジグザグと進むことになる。 下図のような感じ。 この楕円が扁平な場合、最急降下法だとジグザグの回数が増えて、なかなか最適解に収束しないという問題がある。 下図のように最適解に向かって進むものの、次第にステップサイズが小さくなって、なかなか収束しない。 で、もっといい方法があるんじゃないの？ ということで共役勾配法が考え出された。 これは「最も勾配が急な方向」では
勉強に役立ちそうなエントリの一覧 - 大人になってからの再学習
このブログでカバーされている「勉強に役立ちそうなエントリ」の一覧です。 ★をつけたものは、書くときに頑張ったような気がするので、見て損は無いと思う。というもの。 ■ 理工系の大学学部生くらいを対象とした用語の説明 ・★ベクトルの内積とは - 大人になってからの再学習 ・★固有ベクトル・固有値 - 大人になってからの再学習 ・★log(1+x)のテイラー展開・マクローリン展開 - 大人になってからの再学習 ・★写像：単射、全射、全単射 - 大人になってからの再学習 ・★フーリエ変換 - 大人になってからの再学習 ・★フーリエ級数展開の式を理解する - 大人になってからの再学習 ・★フーリエ級数展開の式を理解する(2) - 大人になってからの再学習 ・★プログラミングで理解する反射律・対称律・推移律・反対称律 - 大人になってからの再学習 ・★群・環・体 - 大人になってからの再学習 ・★分散
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mathcha - Online Math Editor