エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
vllmで埋め込みモデルの推論を高速化する - Re:ゼロから始めるML生活
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
vllmで埋め込みモデルの推論を高速化する - Re:ゼロから始めるML生活
小ネタです。 transformersの埋め込みモデルを使ってembeddingを作りたいことは割といろんなところであ... 小ネタです。 transformersの埋め込みモデルを使ってembeddingを作りたいことは割といろんなところであるかと思いますが、このembedding作成もそこそこ時間を食ったりします。 可能であれば埋め込みを計算するときも高速化したいので、今回はvllmで高速化してみたいと思います。 参考 実装 もとの実装 vllmを使った実装 結果 感想 参考 ドキュメントはこちらです。 実は埋め込みモデルに対しても利用できるようなページがありますね。 docs.vllm.ai 実装 やるだけなら結構簡単のようなので、どれくらい高速化できるかやってみたいと思います。 データセット: livedoor news corpus 埋め込みモデル: BAAI/bge-m3 GPU: Colab L4 もとの実装 まずは参考実装を作ってみたいと思います。 vllmを使った実装 次にvllmを使った実装を