はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DR Command-R-Plus, Llama-3, Phi-3 mini を ELYZA-tasks-100 で評価しました Command-R-Plus と Llama-3 70B の性能は既存モデルを大きく上回り、ELYZA-tasks-100 ベンチマークのトップを争っています はじめに 2024 年に入ってからも、数々の LLM が公開されています。特に Cohere や Meta、Microsoft など AI 業界の大手が開発したモデルが、オープンアクセスモデルとして非常に高い性能をもち、話題となっています。 Co

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DR 量子化しても成績が下がりにくいモデルと、大きく下がるモデルがある 一部のモデルは量子化すると回答が極端に短くなる 量子化によって回答が短くなる度合いは、量子化前モデルの回答の長さと相関がある可能性がある はじめに 皆さんは量子化したLLMを使っていますか？ 深層学習における量子化（quantization） とは、モデルのパラメータを少ないビット数で表現することです。 通常のモデルは float32 などの高精度なデータ型を使ってパラメータを表現しますが、この精度を float16 や int8 に下げることを量子化といいま

TL;DR 14個の「日本語が話せるLLM」（日本製・外国製問わず）の性能を、日本語データセット ELYZA-tasks-100 で横断評価しました 海外勢70Bモデルの性能が高いことがわかりました。7Bでは ELYZA-japanese-llama-2 や CALM2 の成績がよかったです モデルの回答・スクリプトへのリンクは記事内に貼っています JGLUE などのベンチマークは、モデルの性能を反映しているのか？ 2023年は、かつてないほど多くの LLM が（クローズド・パブリック問わず）公開され、まさに LLM フィーバーの年でした。 一方で、どのモデルが高性能なのか、自分の利用用途に合ったモデルはどれなのか、とお悩みの方も多いのではないでしょうか。 LLM の性能を比較するときに役立つのが、ベンチマークです。 英語圏の LLM に関していえば、MMLU や HellaSwag、Wi

はじめに 今年もFOSS4G年末隠し芸大会（違）の時期がやってまいりました。前回はちょっと変態じみた投稿をしましたが、今回は真面目にディープラーニング周りとFOSS4Gを絡めたお話をしてみたいと思います。 pix2pixについて 最近pix2pixと言うプログラムがDNN界隈で話題になっておりますので、聞いたことがある方も多いかと思います。モノクロをカラーにしたりラベルを画像にしたり、イラストを作ったり等など、これもまでもエポックメイキング的なDNNが次々と発表されていきましたが、今回のこれはそれらを単一のニューラルネットワークでやっちゃいましたというとんでもないお話であります。 もともとDNNは汎化性能が高いと言われていますが、それでもドメインをまたいだ処理に関しては難しく、特定の問題に対してネットワーク設計するのが一般的でした。 今回のpix2pixは2つの変換前後の画像を用意するだけ