突如実用化した1ビットLLM Bonsai-8B もう推論にGPUはほぼ不要になる。その先に何が起きるか清水 亮 ryo_shimizu 新潟県長岡市生まれ。1990年代よりプログラマーとしてゲーム業界、モバイル業界などで数社の立ち上げに関わる。現在も現役のプログラマーとして日夜AI開発に情熱を捧げている。 ソフトウェアの革命は、突然やってくる。 ように見える。 カリフォルニア工科大学(以下カルテック)のババク・ハッシビ教授が率いる研究チームPrismが発表したBonsai-8Bは、驚異的と言って良い性能を持つ大規模言語モデル(LLM)である。 通常のベンチマークは、ベンチマークに使うデータそのものをモデルが学習してしまう場合があるため、筆者が独自に開発した非公開の日本語要約能力ベンチマークによると、Bonsai-8Bの性能は驚異的だ。 この表では、精度(ROUGE-L)、推論速度(speed)、サイズ(Size)、品質(Tier)の4点から様々なLLMの日本語性能を比較している。 このベン
