vllmで埋め込みモデルの推論を高速化する - Re:ゼロから始めるML生活

小ネタです。 transformersの埋め込みモデルを使ってembeddingを作りたいことは割といろんなところであるかと思いますが、このembedding作成もそこそこ時間を食ったりします。 可能であれば埋め込みを計算するときも高速化したいので、今回はvllmで高速化してみたいと思います。 参考 実装 もとの実装 vllmを使った実装 結果 感想 参考 ドキュメントはこちらです。 実は埋め込みモデルに対しても利用できるようなページがありますね。 docs.vllm.ai 実装 やるだけなら結構簡単のようなので、どれくらい高速化できるかやってみたいと思います。 データセット: livedoor news corpus 埋め込みモデル: BAAI/bge-m3 GPU: Colab L4 もとの実装 まずは参考実装を作ってみたいと思います。 vllmを使った実装 次にvllmを使った実装を