tokenizeの検索結果1 - 2 件 / 2件

• あとで読む

  言語処理でよく使う前処理まとめ -tokenize, subword- - 文系と理系の交差点

  • 5 users
  • cardinal-moon.hatenablog.com
  • テクノロジー
  • 2022/03/28

  言語処理を行うときの基本として，現在は文章を単語などの何らかの単位に区切り（トークナイズ (tokenize) して），それらをベクトルに落とし込んでモデルで処理することが多いです． 今回はトークナイズ（単語を区切ること）にフォーカスして，それをでどの様に書くかを簡単にご紹介します．言語は主に python を使用します． 目次 トークナイズ 日本語の場合 英語の場合 サブワード (Subword) BPE (Bite Pair Encoding) SentencePiece 参考 トークナイズ そもそもトークナイズとは，単語をトークンという単位に区切ることを指しますが，この区切り方は様々あります．よく使われるのは単語や形態素です． さらに後ほど説明するサブワード (subword) といって，単語をさらに細かく区切った表現をトークンとして扱うことや，１文字を１トークンとして分割すること（

  • NLP

  
• あとで読む

  How to Tokenize Japanese in Python

  • 3 users
  • www.dampfkraft.com
  • テクノロジー
  • 2020/08/15

  Over the past several years there's been a welcome trend in NLP projects to be broadly multi-lingual. However, even when many languages are supported, there's a few that tend to be left out. One of these is Japanese. Japanese is written without spaces, and deciding where one word ends and another begins is not trivial. While highly accurate tokenizers are available, they can be hard to use, and En