前回の記事の続きです。 Command R+はどこまで量子化するとアホになってしまうのか? 前回の記事で、Command R+(CR+)のようなモデルはまあ4bit程度までは量子化しても実用的に問題なさそうだという事が分かった。 では、今回はいよいよローカルのCR+でElyzaTasks100の採点をさせまくろう!と言いたいところだが、だがちょっと待ってほしい。 …実は、あの後「もしかしたらCR+よりもLlama3-70Bの方が日本語能力高かったりして…」と考えて、LLama3の8Bモデルと70BモデルにElyzaTasks100を解かせていつも通りCR+に自動評価させてみた。 その結果がこれである。 な、なんと、Llama3-70BはCommand R+を上回るスコアを獲得している!つまり、Llama3-70Bの日本語での能力はCommand R+を上回ってる可能性が高い! Llama3