最強の言語モデルLUKEをJCommonsenseQA用にファインチューニングして公開してみた - Qiita

こんにちにゃんです。 水色桜（みずいろさくら）です。 今回は現状最強の言語モデルLukeをファインチューニングして、JCommonsenseQAを解いてみようと思います。 作成したモデルはこちら（Hugging Face）で公開しています。 初心者でも簡単に使えるようにサンプルコードも配布しているので、ぜひ使ってみてください。 なお、CommonsenseQAを解ける日本語モデルでHugging Faceに公開されているものは執筆現在では他に存在しません。（新規性です！） 以上の理由から今回の試みは非常に意義のあることであると自負しています。 では、さっそくファインチューニングの方法などについて書いていきます。 環境 pandas 1.4.4 numpy 1.23.4 torch 1.12.1 transformer 4.24.0 Python 3.9.13 sentencepiece 0