データのダウンロードと準備 このチュートリアルに必要なデータは Tomas Mikolov の web ページからの PTB データセットの data/ ディレクトリにあります : http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz データセットは既に前処理されていて、文の最後のマーカーと珍しい単語のための特殊なシンボル (<unk>) を含む、全体で 10000 の異なる単語を含みます。 ニューラルネットワークが処理しやすいようにこれら全部を reader.py で一意の整数識別子に変換します。 ptb_word_lm.py#main は、最初に reader.py#ptb_raw_data を呼び出してデータセットを取得します。 def main(unused_args): if not FLAGS.data_path