Pytorch：単語のベクトル表現をセットする（torchtext） - 機械学習・自然言語処理の勉強メモ

はじめに Pytorchの処理で学習済みの単語分散表現（Word2Vec, Glove等）を使いたい場合がある。 直接、Embedding層にセットする場合が以下の方法で問題ない。 kento1109.hatenablog.com 前処理として、torchtextを利用する場合はそうはいかない。 torchtextはコーパスから単語の辞書作成、インデックス化、バッチ化、パディングなど色々と便利なことが出来る。この利便性を享受するためには、torchtextで作成する辞書の単語とインデックスのマッピング情報を利用しなければならない。 つまり、このマッピング情報に従い、学習済みの単語分散ベクトルもマッピングさせる必要がある。 調べたところ、fasttext,Gloveなどの単語分散表現をロードする方法と、独自で作成した単語分散表現をベクトルにセットする方法の２つのがあった。 事前準備 まず、テ