Subword segmentaion と SentencePiece について - Qiita本記事の目的 Subword segmentaion の考え方について理解する。 Subword segmentation の新手法 (SentencePeiece) のロジックを理解する。 参照論文の第２章、第３章にある式の展開を追う。 参照論文 参照論文の構成 Introduction Neural Machine Translation with multiple subword segmentations NMT training with on-the-fly subword sampling Decoding Subword segmentations with language model Byte-Pair-Encoding (BPE) Unigram language model Subword sampling BPE vs. Unigram language mode
