エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
GPUが1枚でもローカルで高速にLLM評価を回したい!
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
GPUが1枚でもローカルで高速にLLM評価を回したい!
前回の記事の続きです。 Command R+はどこまで量子化するとアホになってしまうのか? 前回の記事で、Com... 前回の記事の続きです。 Command R+はどこまで量子化するとアホになってしまうのか? 前回の記事で、Command R+(CR+)のようなモデルはまあ4bit程度までは量子化しても実用的に問題なさそうだという事が分かった。 では、今回はいよいよローカルのCR+でElyzaTasks100の採点をさせまくろう!と言いたいところだが、だがちょっと待ってほしい。 …実は、あの後「もしかしたらCR+よりもLlama3-70Bの方が日本語能力高かったりして…」と考えて、LLama3の8Bモデルと70BモデルにElyzaTasks100を解かせていつも通りCR+に自動評価させてみた。 その結果がこれである。 な、なんと、Llama3-70BはCommand R+を上回るスコアを獲得している!つまり、Llama3-70Bの日本語での能力はCommand R+を上回ってる可能性が高い! Llama3