Google、最大4倍高速なLLM「DiffusionGemma」無償公開

[fusionstar]

LM Studio に Unsloth 版があったけどモデルローディングに失敗する。 LM Studio のバージョンアップを待つ。

[kaputte]

待ってたわーLLMのdiffusionモデル！2年くらい前に一瞬話題になったきりだったけど生きてたのかい。

[hasiduki]

拡散モデル！！！！！！！、！

[star_123]

これは諸諸対応したら試す

[hinoton2]

クローズ版の権利当たって使ってたけど連携できない単なるチャットとしてのLLMなんかいくら応答早くても要らなくてなぁ

[tachibanagaku]

最低必要要件が書いて無いのは、そんなに一般向けじゃないって事だよね。

[totoronoki]

18GBだから使うのは無理だな

[boxshiitake]

拡散モデルのほうが高速化しやすいのかね

[mfluder]

“一般的な大規模言語モデル(LLM)がトークン単位で逐次処理を進めていくのに対し、テキストのブロックを同時に並列生成して処理することで、GPUやTPUの待ち時間を減らし、処理の効率化と高速化を図る”

[toaruR]

gemmaで遅いと思った事ないけど、早さが欲しい向きもあるよな（´－｀）シンプルに４回動かせるだけでも意味ありそう

[swdrsker]

離散フローマッチングを使えば近いうちもっと高速化されるだろうな

[koroha-a]

おお、これは良さそう。動画にも対応してるし低遅延な翻訳とかに活用できそう

[l_etranger]

拡散モデルはinceptionのmercuryを1年ほど前から使っている。順番こではなく全体が一気にできていくビジュアルが楽しいのだけど、こちらもあの演出はできるんだろうか。https://www.inceptionlabs.ai/ 試してみるか。

[rdlf]

試してみよう。