日本語のWikipediaの全文データを使ってWord2vecを訓練する - Qiita

日本語のWikipediaの全文データを使ってWord2vecを訓練する方法についてまとめます。 Udemy【TensorFlow・Keras・Python3で学ぶ】時系列データ処理入門（RNN/LSTM, Word2Vec)の内容です。 環境 Ubuntu18.04 データをダウンロード https://dumps.wikimedia.org/jawiki/latest/ からjawiki-latest-pages-articles.xml.bz2をダウンロードし、解凍する。 wp2txtを使って、xmlからテキストファイルを生成する wp2txtはrubyのgemなので、rubyがインストールされているかを確認する。