RAGで文書を圧縮して速度を５倍にする手法

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、取得したドキュメントを圧縮することでLLMの生成速度を最大５倍高速化する手法「OSCAR」について紹介します。速度はもちろん、入力するデータ自体も小さくできるので費用も抑えることができるようになっています。 サマリー RAGは必要な情報を収集して、その情報を元に回答を生成する機能をもっていますが、多くの場合で無関係な情報を含めてLLMに渡します。これにより、LLMへの入力トークンが増加してしまい、文章の生成が完了するまでの速度と料金がより多くかかることになります。 今回紹介する「OSCAR」はLLMに渡す文章を「圧縮」することで入力トークンを抑え、かかる時間と料金を抑えることができます。加えて、精度についてもそのままLLMに検索結果を渡す場合と比べて同程度の精度を実現しています。 問題意識 大量の文章を追加することの悪影響

[misshiki]

“「OSCAR」はLLMに渡す文章を「圧縮」することで入力トークンを抑え、かかる時間と料金を抑えることができます。加えて、精度についてもそのままLLMに検索結果を渡す場合と比べて同程度の精度を実現しています。”