Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer

最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介します。 Wiki-40Bとは？ Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます。言語ごとの対応状況については、以下のページを参照するとよいでしょう。 wiki40b | TensorFlow Datasets 前処理としては、大きくは以下の2つに分けられます。 ページのフィルタリング ペー

[nagaichi]

専門用語が多くてあまり日常会話に出てこないタームに満ちているWikipediaって、そもそも自然言語処理のための機械学習に向いてるテキストなんだろうか。推敲不足の悪文どころか、言語的に壊れた記事も少なくないし。

[knok]

いつdumpされたスナップショットを使うのかの指定は今のところないようだ。バージョン1.3.0しかないっぽい / 論文によると https://www.tensorflow.org/datasets/catalog/wikipedia がソースなので 20200301が元のようだ

[chikoshoot]

とりあえず、みんな寄付しような！

[efcl]

Wikipediaの前処理済みのデータ

[misshiki]

分量や利用しやすさから自然言語処理ではWikipediaが選ばれることが多いが前処理が面倒。そこで“本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介”とのこと。

[nilab]

「Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます」

[apipix]

wikipedia wiki

[t-murachi]

WikipediaをWikiと言ってのけるサイエンス系最右翼(´・ω・`)

[suquiya0]

ほむ。

[cj3029412]

あとでためすー😺💕すきすきー😺💕

[skypenguins]

良さそう