サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
GPT-4o
qiita.com/takeshikondo
本記事の目的 Subword segmentaion の考え方について理解する。 Subword segmentation の新手法 (SentencePeiece) のロジックを理解する。 参照論文の第2章、第3章にある式の展開を追う。 参照論文 参照論文の構成 Introduction Neural Machine Translation with multiple subword segmentations NMT training with on-the-fly subword sampling Decoding Subword segmentations with language model Byte-Pair-Encoding (BPE) Unigram language model Subword sampling BPE vs. Unigram language mode
このページを最初にブックマークしてみませんか?
『qiita.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く