NLP前処理ツール「chariot」とPyTorchで日本語テキスト分類 - やむやむもやむなしchakki-worksが発表した自然言語処理の前処理ツール「chariot」をさっそく動かしてみました。 公式サンプルは英語でのコードだったので、せっかくなので日本語のデータを使ってPyTorchの日本語分類モデルの学習を行ってみました。 chariotのgithubはこちら github.com 実験で使用したコードはGithubにもあげています。 github.com chariotとは chariotは自然言語処理の前処理のパイプラインを構築するためのツールです。 前処理を実行するPreprocessorに前処理をstackしていくことで、パイプラインを構築していきます。 公式の紹介記事では以下をポイントにあげています。 chariotでは、以下3点をできるようにしました。 - 前処理を宣言的に定義できる - 前処理が簡単に保存できる(パラメーターごと) - モデルの学習にたどり着
