自然勾配法関連のメモ - HELLO CYBERNETICS
勾配法 損失関数 勾配学習 自然勾配法 最急降下法 リーマン空間 勾配法を再び 自然勾配法 自然勾配法とその亜種 の推定を行う適応的自然勾配法 参照：Singularities Affect Dynamics of Learning in Neuromanifolods を推定しない擬似的自然勾配法 参照:自然勾配近似法を起点としたバッチ正規化の数理的理解 勾配法 損失関数 学習パラメータを持つ関数に関して、損失関数を考え、関数の性能を損失のについての期待値 で測る。さしあたり、の確率分布は不明なので、期待値を取る代わりに、観測されるデータの個々の損失の平均値 で代用します。これは真の分布の代わりに経験分布によって代用しているということになります。 を訓練誤差と呼び、これを最小化するを獲得することを学習と呼びます。 本来は真の損失関数を最小化したいのに、代わりに訓練誤差を使う(すなわち真の
畳み込みニューラルネットワークの基礎 - HELLO CYBERNETICS
事前知識 テンソルで理解しておくべきことは意外と少ない 畳み込みとは 畳み込み 畳み込みニューラルネット 畳み込みニューラルネットの畳み込み処理 空間フィルタ 畳み込み層 RGB画像を扱う場合 畳み込み層まとめ 分類の方法について プーリング層 活性化関数 全体のまとめ 事前知識 テンソルで理解しておくべきことは意外と少ない 畳み込みニューラルネットワークでは非常にたくさんの添字が現れます。 しかし決して難しいものではありません。実はとてもシンプルな処理を繰り返しているだけです。そのことを理解するためには、テンソルの概念を知っておくと便利です。 言葉が聞き慣れないだけで全く難しくありません。 テンソルのインターネットで検索すると何やら難しい話が出てきます。 以下はWikipediaの引用です（読む必要ありません。テンソルって聞くとこんな話が出てきますが、気にしないでくださいということが言い
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
