はてなブックマーク

はじめに 「機械学習・深層学習」初学者のための『ゼロから作るDeep Learning』の攻略ノートです。『ゼロつくシリーズ』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 ニューラルネットワーク内部の計算について、数学的背景の解説や計算式の導出を行い、また実際の計算結果やグラフで確認していきます。 この記事は、3.5.2項「ソフトマックス関数の実装上の注意」の内容です。オーバーフローが発生しにくいソフトマックス関数の定義式を導出します。 【元の記事】 www.anarchive-beta.com 【他の記事一覧】 www.anarchive-beta.com 【この記事の内容】 はじめに ・ソフトマックス関数のオーバーフロー対策 ・ソフトマックス関数 ・オーバーフロー ・オーバーフロー対策 ・パターン1 ・パターン2 ・パターン3 参考文献 おわりに ・ソフトマ

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでのスクラッチ実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 また、機械学習で登場する確率分…

はじめに 『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。 本の補助として読んでください。 この記事は、各節の内容のリンクページです。 各記事では、「数式の行間埋め」や「RまたはPythonでのスクラッチ実装」を解説します。 【目次】 はじめに Chpter 1 確率の基礎 1.1 確率 1.2 確率分布 離散確率分布 連続確率分布 Chapter 2 ユニグラムモデル 2.1 文書表現 2.2 ユニグラムモデル 2.3 最尤推定 2.4 最大事後確率推定(MAP推定) 2.5-6 ベイズ推定 2.7 ハイパーパラメータ推定 経験ベイズ推定 MAP推定 Chapter 3 混合ユニグラムモデル 3.1 混合ユニグラムモデル 3.3 EMアルゴリズム 3.4 変分ベイズ推定 3.5 ギブズサンプリング Cha