Red HatがAI推論の高速化、効率化でvLLM基盤と新OSSプロジェクト「llm-d」を発表

Red Hatは2025年5月20日（米国時間）、開幕した「Red Hat Summit 2025」でAI推論の高速化や効率化に焦点を当て、2つの発表を行った。vLLMを活用した推論サーバの提供開始と、vLLMをスケーリングするオープンソースプロジェクト「llm-d」の発足だ。llm-dにはNVIDIAやGoogle Cloud、CoreWeaveなどが参画している。 生成AI（人工知能）の活用が本格化すると、速度やレイテンシ、統合管理、ハードウェアコストなどの問題が表面化してくる。これに対応するのが2つの発表の目的だという。 2つの発表の中核となっているのは「vLLM」という技術。LLM（大規模言語処理）を使った推論の効率的な実行を助けるオープンソースライブラリだ。2023年にカリフォルニア大学バークレー校が開発し、急速に広まっている。 vLLMが解決するのは、GPUのメモリ管理の問題。

[misshiki]

“Red HatがRed Hat SummitでAI推論に焦点を当て、推論サーバとOSSプロジェクトを発表した。オープンソース技術vLLMを活用し、生成AI利用の本格化に対応するという。”