エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【論文シリーズ】新しいRNNの学習方法(Hessian FreeとRBM利用) - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【論文シリーズ】新しいRNNの学習方法(Hessian FreeとRBM利用) - Qiita
原文 RNNの学習 (Training recurrent neural networks) Ilya Sutskever (2013) 1. 要約/背景 新しいRNN... 原文 RNNの学習 (Training recurrent neural networks) Ilya Sutskever (2013) 1. 要約/背景 新しいRNNの学習方法として、 ①RBMを使う手法 ②脱ヘシアン(Hessian-free)最適化 を提案した。 ②では、長期時系列の予測にも耐えうることが知られている。 筆者らは、手法を文字列レベル(単語レベルでない)のNLPに適用した。 2. 骨子の理論 (1)Temporal RBM RBMのモデルを系列データに適用したパターンである。 系列$t$の可視変数と隠れ変数が、$t-1$以前の可視変数と隠れ変数にそれぞれ影響を受けているモデルである。 系列$m$前まで影響があるときの、ボルツマン分布は、 P(v_t,h_t|v_{t-m}^{t-1},h_{t-m}^{t-1}) = \frac{\exp(h_t{}^T\mbox{W}