OpenAIを利用せずローカル環境でEmbedding DBを用いた質問応答の効率性は？ (2)回答作成速度と品質 - Qiita

はじめに 前回はOpenAIを利用せずローカル環境での埋め込み速度について確認した。 今回はEmbedding DBを検索し、質問に対する回答速度と回答品質を確認する。 まとめ 埋め込み時間が掛かったLlama2, Llama2(日本語)で作成したEmbedding DBからの検索結果の品質は今回の試験では満足いくものではなかった。E5で作成したDBから英語で問い合わせた場合の検索結果が最も良好な結果を示した。前回確認した埋め込み時間と検索結果の品質を考慮すると、E5を利用したEmbedding DBの作成および検索を利用するのが良いだろう。 検索結果からの回答作成には２分から３分を要した。GPUを利用して高速化を行うことも可能だが、社内文章の検索に利用するユースケースを想定しているのであれば、検索結果のmetadataとして得られる社内文章へのURLを提示する単純なUXとすることで高速な