大規模言語モデル(LLM)を爆速で動作させる「言語処理ユニット(LPU)」を開発する「Groq」が爆速アルファデモを公開

大規模言語モデル(LLM)などを実行するために設計されたカスタムハードウェアである言語処理ユニット(LPU)を開発するGroqが、既存のLLMを爆速で動作させることができるアルファ版デモンストレーションを公開しました。 A company called Groq may have pushed AI chips to the next level https://www.androidheadlines.com/2024/02/openai-groq-ai.html Forget ChatGPT — Groq is the new AI platform to beat with blistering computation speed | Tom's Guide https://www.tomsguide.com/ai/forget-chatgpt-groq-is-the-new-ai-

[petite_blue]

めちゃくちゃ速い。人間がいらないレベル

[qpci32siekqd]

全部SRAMに乗れば良いが乗らず、ボード間の通信で帯域一気に減るし遅延あるし、SRAMメリット活かせないわけで、帯域も容量も大きいメモリ必要だと思うがな

[misshiki]

“大規模言語モデル(LLM)などを実行するために設計されたカスタムハードウェアである言語処理ユニット(LPU)を開発するGroqが、既存のLLMを爆速で動作させることができるアルファ版デモンストレーションを公開しました。”