文章を探す時にベクトル検索を行う際の課題と解決策のメモ｜Kan Hatakeyama

最近は､GPTのpromptにオリジナル文書を載せて回答させるchatbotが流行ってます｡ 文章検索は､GPTのembedベクトル計算機能を使うのが一般的で､llammaindex などのライブラリにも内蔵されています 個人的には､SBERTやローカルLLMでも､大丈夫だと思っています しかし､実際に運用してみると､思ったように動かないという問題に直面します ベクトル検索の利点 https://qdrant.tech/articles/hybrid-search/キーワード検索の利点 https://qdrant.tech/articles/hybrid-search/ベクトル検索は､意味にフォーカスした検索が可能で､従来のキーワード検索は､単語を拾うのが得意､という感じです｡ ベクトル検索で個人的に困った点ベクトル検索では､目的の文書になかなか辿り着けないという問題に直面しました｡特に