rinnaとopen-calmをloraでJGLUEしてみたはじめに ここ数日間に日本語で学習させたLLMがいくつかでましたが、定量的に性能評価したい！ということで日本語LLMベンチマークライブラリのJGLUEを回してみました。 ついでにloraに対応してなかったのでlora用のコードに修正。 環境 AWS Ec2 p4dn.24xlage Deep Learning AMI GPU PyTorch 2.0.0 (Amazon Linux 2) 20230406 セットアップ 適当なディレクトリを作成してJGLUEとtransformerをclone mkdir benchmark cd benchmark git clone https://github.com/yahoojapan/JGLUE.git git clone https://github.com/huggingface/transformers.git -b v4.9.2 tran
