前回に引き続き、後編です。 www.takapy.work 前編の簡単な復習 言語モデル 言語モデルにおけるフィードフォワード型ニューラルネットワーク(word2vec)の問題点 RNN BPTT(Backpropagation Through Time) BPTTの問題点 Truncated BPTT Truncated BPTTのミニバッチ学習 RNN言語モデルの全体図 LSTM(ゲート付きRNN)とは RNNLMの問題点 勾配爆発への対策 勾配消失への対策 LSTM(Long short-term memory)の概要 LSTMに備わっているゲートについて outputゲート(o) forgetゲート(f) 新しい記憶セル(g) inputゲート(i) なぜLSTMだと勾配消失が起きにくいのか LSTMの改善案 最後に 前編の簡単な復習 前編では、コンピュータに単語の意味を理解させる