最近話題のVector Searchを実現するFaissって何？ #1｜masuidrive
Faissを使ったFAQ検索システムの構築Facebookが開発した効率的な近似最近傍検索ライブラリFaissを使用することで、FAQ検索システムを構築することができます。 まずは、SQLiteデータベースを準備し、FAQの本文とそのIDを保存します。次に、sentence-transformersを使用して各FAQの本文の埋め込みベクトルを計算し、そのベクトルをFaissインデックスに追加します。新しいクエリが入力されたときは、sentence-transformersを使用してクエリの埋め込みベクトルを計算し、Faissインデックスを使用して、クエリの埋め込みベクトルに最も類似したFAQの埋め込みベクトルを検索します。 検索結果は、FAQのIDのリストとして返され、最後に返されたIDを使用して、SQLiteデータベースから関連するFAQの本文を取得し、検索結果としてユーザーに表示されま
[Elasticsearch] 転置インデックスの詳解 と マーケットプレイスのAnalyzer設計パターン - Qiita
はじめに 転置インデックスについての説明を知りたい方は、こちら までスキップしてください。 実践的な Analyzer の設計について結論だけ知りたい方は、こちら までスキップしてください。 概要 今回、あるマーケットプレイスのデータストアとして、Elasticsearch を採用することになりました。 公開されている 様々な plugin を使用して、ノイズを抑えた Analyzer の設計を行いましたが、日本語の Analyzer ならではの課題を解決するために少々時間を要したので、他の開発者の参考になればと思い記事を残しておきます。 また、それに伴い、Elasticsearch の基礎的な分野についても理解する必要があったため、これを機会に、自分なりにできるだけ噛み砕いた、Elasticsearch の基礎的な知識も、入門者向けに記事として残しておきます。 当記事の対象者 Elast
![[Elasticsearch] 転置インデックスの詳解 と マーケットプレイスのAnalyzer設計パターン - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/52757fd75a4955a705f95e7f27df0a42f65aff5d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCRWxhc3RpY3NlYXJjaCU1RCUyMCVFOCVCQiVBMiVFNyVCRCVBRSVFMyU4MiVBNCVFMyU4MyVCMyVFMyU4MyU4NyVFMyU4MyU4MyVFMyU4MiVBRiVFMyU4MiVCOSVFMyU4MSVBRSVFOCVBOSVCMyVFOCVBNyVBMyUyMCVFMyU4MSVBOCUyMCVFMyU4MyU5RSVFMyU4MyVCQyVFMyU4MiVCMSVFMyU4MyU4MyVFMyU4MyU4OCVFMyU4MyU5NyVFMyU4MyVBQyVFMyU4MiVBNCVFMyU4MiVCOSVFMyU4MSVBRUFuYWx5emVyJUU4JUE4JUFEJUU4JUE4JTg4JUUzJTgzJTkxJUUzJTgyJUJGJUUzJTgzJUJDJUUzJTgzJUIzJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xY2ZkNDQwZDAwMzkxNWM1ZjZiZTdjM2VjZDdhY2M2MA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQweV90b20mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTFjMzZiMzVjYmUyZTI1NjIzMjg3MzI5MWNhNTg4OTc5%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D26531a98b92128089e519cba494c669b)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PgVector vs FAISS: Efficiency Showdown for Vector Similarity Search
