LLM推論処理のKVキャッシュを高速化する11TBメモリーのキャッシュ装置─ペンギンソリューションズ | IT Leaders

ペンギンソリューションズ（2026年4月に日本ストラタステクノロジーから社名変更）は2026年6月24日、大規模AI推論用の「MemoryAI KVキャッシュサーバー」を発表した。4Uラックマウントの筐体に11TBのメモリーを積んだストレージキャッシュ装置であり、LLMが推論時に生成するトークンのKVキャッシュを外部ストレージ階層にオフロードする際のI/O性能を高められる。2026年第4四半期に提供を開始する。 ペンギンソリューションズの「MemoryAI KVキャッシュサーバー」（写真1）は、大規模なAI推論の応答性能を高めるためのハードウェアである。4Uラックマウントの筐体に11TBのメモリーを搭載したストレージキャッシュ装置で、大規模言語モデル（LLM）が推論時に生成するトークンのKVキャッシュ（Key-Value Cache）を外部ストレージ階層にオフロードする際のI/O性能を向上