Sentencepiece : ニューラル言語処理向けトークナイザ - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 少し時間が経ってしまいましたが、Sentencepiceというニューラル言語処理向けのトークナイザ・脱トークナイザを公開しました。MeCabやKyTeaといった単語分割ソフトウエアとは趣旨や目的が異なるソフトウェアですので、少し丁寧にSentencepieceの背景、応用、実験結果等をお話したいと思います。 サブワード ニューラル言語処理の中心となる要素技術にLSTM (RNN)があります。テキスト(トークン列)を低次元のベクトルに符号化したり、ベクトルからテキストを復号化したり、その応用範囲は多岐にわたります。ニューラル機械翻訳 (N

[dominion525]

sentencepiece知らなかったので。あとこういう使い分けも> “意味処理ならJUMAN, 音声がからむと unidic, 情報抽出だと neologd といった塩梅です。”

[stealthinu]

最近のLLMでだいたい使われているトークナイザSentencepieceが作られた背景やサブワードという重要な特徴について開発者の方の解説。

[gengohouse]

“Sentencepiece : ニューラル言語処理向けトークナイザ”

[sh19910711]

"Sentencepiece: 日本語 + サブワードを適用しようとすると、事前にMeCabやKyTea等で分割 + この事前の分割処理をなんとか駆逐できないか / 「文法的に正しい分割」「語彙のサイズ」は役に立たないどころか時として逆効果" 2017

[somemo]

“日本語・中国語にサブワードを適用しようとすると、事前にMeCabやKyTea等で分割しないといけません。この事前の分割処理をなんとか駆逐できないか”

[efcl]

ニューラルネットワーク向けの分かち書き/トークン化。 データから学習して分割点を見つけていく

[tmatsuu]

ほう

[KSKSKSKS2]

トークナイザーである Sentencepiece の内容解説

[syou6162]

めっちゃ面白い

[knok]

「応用に即した単語分割を使うべきだとこれまで主張してきました。意味処理ならJUMAN, 音声がからむと unidic, 情報抽出だと neologd といった塩梅です」

[RabbitBit]

使いたくなった。