vLLMで独自実装モデルを高速推論させる

はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記事です。 この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルについてはサポートされているため非常に簡単に利用することが可能です。一方で、独自に実装したモデルを組み込む方法については公式ドキュメント以外ではほとんど情報がなく、かつ公式ドキュメントも情報が豊富とは言えないためなかなか手が出しづらい状況になっています。 そこで、本記事では、公式ドキュメントには書かれていない内容も含めて、独自のマルチモーダルモデルをvLLMに組み込む具体的な方法を丁寧に解説します。特に、動画生成モデルを例に、Hugging Face Transform

[misshiki]

“独自のマルチモーダルモデルをvLLMに組み込む具体的な方法を丁寧に解説。特に、動画生成モデルを例に、Hugging Face Transformersライブラリで実装されたモデルをどのようにvLLMに適合させるか、その手順を詳しく説明。”

[isrc]

LLMの高速推論・サービングのライブラリ／このブログではチューリングで開発した自己回帰Transformerを用いている動画生成のモデル"Terra"をvLLMを用いて高速化することを考えます。vLLM版の実装ではおよそ2.6倍高速