加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実

加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function

[ku__ra__ge]

「GPT-4超え」が基準になってるうちはGPT-4が一番優れてる

[khtokage]

なんか既視感のある煽り方だなー、と思ったらshi3zさんでした…　まあ嘘ではないんでしょうけど、話1/4ぐらいで聞いておいた方がいいなとは思います

[sirobu]

ゲーム用途にGPU買いたい人としては需給バランスがおかしいのでさっさとAI需要が下がってほしい

[rosiro]

商用AIは出力しちゃまずいフィルターにものすごいコストがかかってたとかだったりしないか

[enderuku]

もうゲームメーカーもラデオンに最適化してよnvidia独占すぎてそのうちエントリーモデルで8万とかになるぞ

[zgmf-x20a]

タイトルがミスリードだと思う。RAGの有効性は1年以上前から提唱されている事で、エンドユーザで改良の余地が残っているという事。人でも如何に学習したを競うのが、生まれたはがりの知能を争うようなもの。

[TakamoriTarou]

これを3AI寄れば文殊の知恵と言いまして（いいません

[myr]

まだしばらくは進化しそうで良かったなぁ

[t_thor]

AI同士がおしゃべりし始めて、論理圧縮された謎言語でやり取りするようになったら面白いのにな。ハルシネーション込み概念をお互い学習して、間違ってるけど破綻してない常識を人知れず構築してたり

[T-norf]

GPT-4oとGemini 1.5 ProとClaude 3.5 Sonnet とCommand R+を対象にこのコード動かしたら、人間超えないかな。超えなくても、費用対効果が出るシチュエーションは確実にありそうな気が

[rawwell]

“750万円の間違いかもしれない(実際、1月に発表した70Bモデルは1000万程度という話だった)”[research]

[misshiki]

“特筆すべきことは、Karakuriの日本語最高性能を誇るLLMの開発にかかった計算費が、たったの75万円だと公表されていることである。”

[timetrain]

複数モデルの並行が浪漫なので、組み合わせるのにむいたモデルとか色々出てきてほしいな

[takatama]

試せるのがいいね

[kaz_hiramatsu]

これを煽る理由は何なんだろ

[napsucks]

CUDAエコシステムによるロックインは強力だし普通ならそれをひっくり返す投資など無理だが、市場が膨らみすぎてCUDA以外への投資も相当な金額になってる。技術自体は枯れてるのでnVIDIAの天下もそう続かないと予想する。

[potnips]

　合議制、マギみたい

[dgen]

GAN とか強化学習っぽい考え方か。過学習の抑制は大変そうだけどどうなの？

[paradisemaker]

技術紹介記事だと思って読んでたら、唐突な自意識の発露で違和感すごいなと思って著者名見たら納得してしまった “そのソースコードが公開され、筆者は大概のことで驚かなくなったものの、やはり驚いてしまった。”

[urtz]

NVIDIAのPER100超えはビビる。売るにしてももうちょっと情報の確度が欲しい。

[hogeaegxa]

別にインターネットは滅んでないし不要にもなってないが、ドットコムバブルは弾けたので、AIテーマ株全財産集中投資はやめよう。売るのって自分が思ってるより遥かに難しいよ

[hamamuratakuo]

魚AI https://sakana.ai/ のように、AIを組み合わせて補完する技術も今後発展していきそうですね？AIの組合せ方もチューニングのコツになってくるかも？

[theta]

“一つの質問に対してそれぞれのLLMを「プロポーザー(提案者)」と「アグリゲーター(まとめ役)」に役割分担し、何度かディスカッションをする” 「ひろゆき」を混ぜると何が起こるのか知りたい

[toaruR]

8つ繋げたら必要資源も8倍になりそうな(・ω・)つか使う人間によっても出力の質が変わってくることを示唆してる気がする

[kastro-iyan]

またこいつか

[udukishin]

マギシステムだー

[kagerouttepaso]

NVIDIAには冷水だけど業界全体は未だ過熱して裾野を広げてる。巨人の肩に簡単に乗れるようになったってニュース

[mixmonkey]

学習ソースの違うAIの合議制って、MAGIやんけ。将棋やチェスもAI同士で対局して人間を越えていったので、そろそろシンギュラリティも見えてきたのでは？

[xxxxxxxxlarge]

MAGIシステムやん

[harumomo2006]

画像生成AIのモデルも複数掛け合わせて自分好みにしてるし前から分かっていたこと

[h5dhn9k]

何か、人類社会全体が脳みたいで。インターネットを介して勝手に最効率のシナプスを探っているみたい。　/ 現時点では検証にGPT-4oやNVIDIAが要る訳で。しばらくは盤石では？

[sds-page]

驚き屋って呼ばれるの気にしてるのかな。Pythonコード載せてインデント消えるの致命的だから掲載元に抗議するかスクショで掲載にしてー

[circled]

「もうゲームメーカーもラデオンに最適化してよ」→ レイトレーシングを諦めればAMDの方がコスパ悪くないのよな。でもレイトレーシングがクオリティ上げまくるから困る

[Nunocky]

「三人よれば文殊の知恵」的な?

[mohno]

“機械学習専用チップ”としては以前からGoogle TPUがあるんだけど、そのGoogleもNVIDIA GPUを買ってるらしい。そして、こういうのは当事者が理解してるであろうデメリット側の話も聞きたい。何もないとは思えない。

[otihateten3510]

NVIDIAの売上がどんどん上がってるから、それはそれ、これはこれ

[kaorun]

学習済みをローカルで回すんなら、次世代Copilot+PCぐらいでカジュアルに動くようになると世界が変わりそうな気がするけど、その時問われるのは学習ソースの質になるんだろうなぁ、やっぱり。あと消費電力

[Balmaufula]

GPUが高いのは円安原因7割だろ