最近は、GPTのpromptにオリジナル文書を載せて回答させるchatbotが流行ってます。 文章検索は、GPTのembedベクトル計算機能を使うのが一般的で、llammaindex などのライブラリにも内蔵されています 個人的には、SBERTやローカルLLMでも、大丈夫だと思っています しかし、実際に運用してみると、思ったように動かないという問題に直面します ベクトル検索の利点 https://qdrant.tech/articles/hybrid-search/キーワード検索の利点 https://qdrant.tech/articles/hybrid-search/ベクトル検索は、意味にフォーカスした検索が可能で、従来のキーワード検索は、単語を拾うのが得意、という感じです。 ベクトル検索で個人的に困った点ベクトル検索では、目的の文書になかなか辿り着けないという問題に直面しました。特に
![文章を探す時にベクトル検索を行う際の課題と解決策のメモ|Kan Hatakeyama](https://cdn-ak-scissors.b.st-hatena.com/image/square/b43fd14f4c77596be966ea55d395fb216491c2de/height=288;version=1;width=512/https%3A%2F%2Fd2l930y2yx77uc.cloudfront.net%2Fproduction%2Fsocial_images%2Ff4d15a5e2ec8a714955542284ac5366002950982.png)