日本語大規模SNS+Webコーパスによる単語分散表現モデルの公開 : hottoSNS-w2vの配布｜#ホットリンク

最終更新日：2023年6月12日 R&D部の榊です。 当社のR&D部では，研究開発上で利用する様々なリソースを部内で共有しています。 今回、そのうちの一つである単語分散表現モデルを社外の方にも利用可能な形で配布することにしました。 なので、それについてご説明したいと思います。 なお、最近の日本の自然言語処理界隈では、文分散表現モデルであるBERTの日本語を含む多言語モデルが公開になったばかりなので、日本語の単語分散表現モデルの配布は大変今更感があるなあ・・・と思ったりもしています。 ですが、日本語を対象とした文・単語の分散表現共に、配布されているのはWikipediaを学習コーパスとしたものが殆どです。 なので、WikipediaではカバーしきれないSNSやWeb上の文書を学習コーパスとした分散表現のモデルを公開することは一定の価値があると考えています。 本言語資源に関しては、2019年6

[mochitabesugi]

小さいデータセットでこねくり回してわずかな精度向上をねらうより、桁違いなデータを用意した方がだんぜん精度があがる。あとはGPT-2のように質の高いデータだけを大量に集める手法が確立できればよい

[kana0355]

来週のNLPで発表あるんだろうか？/“2019年6月に開催される2019年度人工知能学会全国大会で発表する予定”JSAIだった．

[yayoi-taka]

分散表現って「単語の意味をベクトルで表現したもの」なんですね

[sakidatsumono]

おお、試してみたい

[sudow]

おもしろそう

[beatinaniwa]

さかきさん++

[lavandin]

「平凡なウェーイ」という題名の劇があるらしい。すげえなこれ。笑わずに見きる自信がないぞ

[stealthinu]

SNSや一般Webも対象になっている日本語大規模コーパスモデル。Wikipediaベースのものとの比較が面白い。「なう」と「noshita」が関連あるとなってるのはなんでだろ？