PyTorchのtochtextで文書分類 - Qiita

はじめに torchtextを利用して文書分類を行う実装の流れを公式のtutorialに沿って説明します。また、公式のtutorialに付随しているGoogle Colabolatryではerrorになっている部分を修正した上でコードを掲載します。最後に、torchtext.datasets.text_classificationのソースコードについて解説を行います。 開発環境 Google Colabolatry 事前知識 N-gramといった、自然言語処理の基礎用語 文書分類の流れ torchtextを利用して文書分類を行う場合、実装は以下のような流れになります。コードについては次節で見るため、この説では概要だけ記載します。 pip install moduleのimport datasetの格納、train, testへの分割 modelの定義 modelのinstance化、bat