Sentencepiece : ニューラル言語処理向けトークナイザ - Qiita

少し時間が経ってしまいましたが、Sentencepiceというニューラル言語処理向けのトークナイザ・脱トークナイザを公開しました。MeCabやKyTeaといった単語分割ソフトウエアとは趣旨や目的が異なるソフトウェアですので、少し丁寧にSentencepieceの背景、応用、実験結果等をお話したいと思います。 サブワード ニューラル言語処理の中心となる要素技術にLSTM (RNN)があります。テキスト(トークン列)を低次元のベクトルに符号化したり、ベクトルからテキストを復号化したり、その応用範囲は多岐にわたります。ニューラル機械翻訳 (NMT) は、LSTMによる符号化・復号化を組み合わせて翻訳を行います。 ↓↓↓↓↓↓↓ あなたの記事の内容 NMTのアーキテクチャは従来法と大きく異なりますが、入出力はこれまでと同様、なにかしらのトークン列です。どのような列でもよいのですが、慣習的に単語列が

[dominion525]

sentencepiece知らなかったので。あとこういう使い分けも> “意味処理ならJUMAN, 音声がからむと unidic, 情報抽出だと neologd といった塩梅です。”

[stealthinu]

最近のLLMでだいたい使われているトークナイザSentencepieceが作られた背景やサブワードという重要な特徴について開発者の方の解説。

[gengohouse]

“Sentencepiece : ニューラル言語処理向けトークナイザ”

[somemo]

“日本語・中国語にサブワードを適用しようとすると、事前にMeCabやKyTea等で分割しないといけません。この事前の分割処理をなんとか駆逐できないか”

[efcl]

ニューラルネットワーク向けの分かち書き/トークン化。 データから学習して分割点を見つけていく

[tmatsuu]

ほう

[KSKSKSKS2]

トークナイザーである Sentencepiece の内容解説

[syou6162]

めっちゃ面白い

[knok]

「応用に即した単語分割を使うべきだとこれまで主張してきました。意味処理ならJUMAN, 音声がからむと unidic, 情報抽出だと neologd といった塩梅です」

[userhiro]

意味処理ならJUMAN, 音声がからむと unidic, 情報抽出だと neologd 、ニューラルネットならsentence piece?

[RabbitBit]

使いたくなった。