エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
AIスタートアップGroqがLLMを超高速で処理するLPUを発表、ほぼリアルタイムでのテキストを生成が可能に | TEXAL
AIスタートアップGroqがLLMを超高速で処理するLPUを発表、ほぼリアルタイムでのテキストを生成が可能に ... AIスタートアップGroqがLLMを超高速で処理するLPUを発表、ほぼリアルタイムでのテキストを生成が可能に AIスタートアップGroqは、公開ベンチマークで全ての競合を上回る、非常に高速なLPU推論エンジンを発表した。 Groqによると、LPU(Language Processing Unit™)は、大規模言語モデル(LLM)のような逐次的な要素を含む計算集約的なアプリケーションに最速の推論を提供する新しいタイプのエンドツーエンド処理ユニットシステムだという。 GroqのLPUは、言語モデルを実行するために特別に設計されており、最大500トークン/秒の速度を提供する。ちなみに、比較的高速なLLMであるGemini ProとGPT-3.5は、負荷、プロンプト、コンテキスト、配信によって異なりますが、1秒間に30~50トークンを処理する。 この推論エンジンは、性能、効率、スピード、精度のため
2024/02/28 リンク