Wikipediaの日本語コーパスを準備する方法をまとめました。 1. Wikipediaダンプファイルの取得はじめに、https://dumps.wikimedia.org/jawiki/latest/ から、Wikipediaの日本語のダンプファイル「jawiki-latest-pages-articles.xml.bz2」をダウンロードおよび解凍します。 ・解凍前 : jawiki-latest-pages-articles.xml.bz2 (3.2GB) ・解凍後 : jawiki-latest-pages-articles.xml : (13.47GB) 2. Wikipediaの日本語コーパスの作成 WikipediaのダンプファイルはXML形式なので、記事を抽出するツール 「WikiExtractor」を使って、XMLタグを削除します。 (1) AnacondaでPython
![Wikipediaの日本語コーパスの準備|npaka](https://cdn-ak-scissors.b.st-hatena.com/image/square/0bd6aaa63840411dfb3ee86ce4bbe94769890776/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F35729095%2Frectangle_large_type_2_13cd87cb286fa9bee423117ef6800d0f.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)