【switch-c-2048】GoogleがついにGPT-4レベルのLLMをオープンソースで公開！概要〜使い方まで | WEEL

ホーム生成AIずかんパラメーター数1兆以上【switch-c-2048】GoogleがついにGPT-4レベルのLLMをオープンソースで公開！概要〜使い方まで メディア事業部リサーチャーのいつきとメディア事業部AIエバンジェリストの藤崎です。この記事は専門的な内容を含むため、AIスペシャリストとの共同執筆となっています。 今回ご紹介するのは、Googleがオープンソース化したMOEモデルの「switch-c-2048」について。 なんと、こちらのMOEモデルは、1.6兆個のパラメーターと3.1TBサイズのデータでトレーニングされた大規模言語モデルで、あの「GPT 4」と同等のサイズだと話題になっています！ switch-c-2048を使用すれば、より高速な学習が可能になるとのことですが、新しく公開されたモデルなので使い方がわからないという方も多いでしょう。 そこで今回の記事では、switch

[UtsumiMarkcity]

ロード終わらなくて実際には使えませんでした！で記事が終わると思ってなかった。いかがでしたかblogかな？

[punychan]

LLMを公開するときはどれくらいのスペックが推奨でどれくらいの時間がかかるみたいな目安も出してほしい。

[Windfola]

「「GPT 4」と同等」はGoogleが主張してるわけでなく、パラメータ数だけ見て外野が勝手に言ってるだけだね。

[zgmf-x20a]

誰かがGPTQなりLoRAにしてくれると思うのでそれからかな？/ huggingface覗いたけどやっぱりでかいね。ダウンロードはできるだろうけど、まずロードすらできないだろうな。

[misshiki]

“switch-c-2048は、1.6兆個のパラメーターと3.1TBサイズのデータでトレーニングされた大規模なMOEモデルです。” Mixture of Experts (MoE)

[gomakyu]

「簡単なテキスト生成を行ってみましょう。」え？行ってませんよね？

[canadie]

GPT-4超え何度目だよってなるけどこれは酷い、パラメタ数が多いだけじゃん。あと「GPT 4」ってたった数文字のプロダクト名を間違えるはどうなん

[buhoho]

かつてコンピューターがわざわざ「パーソナル」って言われたみたいに、パーソナルLLM「パソエル」もいつか現れるのだろうか。(現われろ！)

[urtz]

最終的にクローズドなAIが最高峰となるのは必然。Googleの意図は不明

[nuara]

なるほどChatGPTのすごいところは、データをクラウドにおいて即時にリスポンスできるところなのか。

[deejayroka]

“いくらswitch-c-2048がオープンソースでGPT 4に匹敵する能力を持っているとしても、動作するスペックのマシンを用意するのが大変ですからね・・・ switch-c-2048はかなり利用シーンが限られるLLMと言えるでしょう”

[peketamin]

“ライセンス Apache 2.0 商用利用 不明”

[shodai]

よく分かんない

[prjpn]

ズコー

[morinaga3]

Google ai

[endo_5501]

これ、動かすことができるやつかなり限られるだろ