データのダウンロードと準備 このチュートリアルに必要なデータは、Tomas Mikolov の Web ページの PTB データセットの data/ ディレクトリにあります: http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz データセットはすでに前処理され、文末マーカーと、レアな単語のための特殊記号(<unk>)を含む、全部で10000語の異なる単語が含まれています。ニューラルネットワークでの処理を容易にするため、reader.py でそれらの単語すべてを、一意の整数の識別子に変換します。 モデル LSTM モデルの中心部は LSTM セルで構成されます。LSTM セルは、一度に1つの単語を処理し、文のありうる継続の確率を計算します。ネットワークのメモリ状態をゼロ・ベクトルで初期化し、各単語を読み込んで、メモリ状態を更新