OpenSearch で日本語 Sparse search を動かしてみる

本投稿は以下アドベントカレンダーとリンクしています。 AWS Analytics Advent Calendar 2024 (12/25 分) 情報検索・検索技術 Advent Calendar 2024 (シリーズ2 12/25 分) OpenSearch におけるベクトル検索の概要 OpenSearch はオープンソースの全文検索・分析スイートです。OpenSearch は全文検索に加えてベクトル検索の機能も備えています。 ベクトル検索は従来の全文検索による検索が苦手とするあいまいなクエリの処理を実現することができるため、あいまい検索や LLM と組み合わせた検索検索拡張生成(RAG) に代表される文書検索・ナレッジ検索で幅広く活用されています。 一般的にベクトル検索と呼ばれているのは、N 次元の数値配列からなる密ベクトルを使った検索です。密ベクトル検索では、クエリと検索対象のデータは

[sh19910711]

2024 / "OpenSearch: バージョン 2.11 より Sparse neural search 機能によるスパース検索が実装 / テキストデータをもとにスパースエンコーディングを使用して生成されたトークンリストに対して検索"

[secondlife]

OpenSearch でスパース検索。japanese-splade-v2 をサンプルコードで利用。AWS で動作させるあれこれも。