Elasticsearchのベクトルフィールドをテキスト類似性検索に活用する

レシピ検索エンジンとして誕生した瞬間から、Elasticsearchは高速でパワフルな全文検索エンジンとして設計されていました。そんなルーツもあり、テキスト検索の改善は、今もElasticの日々の業務のベクトルにおいて重要なモチベーションです。Elasticsearch 7.0では、高次元ベクトル向けのフィールドタイプを試験導入し、今回7.3のリリースでは、高次元ベクトルのドキュメントスコアリング向けの使用のサポートを開始しました。 本ブログ記事は、“テキスト類似性検索”と呼ばれる特定のテクニックを取り上げます。このタイプの検索では、ユーザーが短い自由文クエリを入力し、そのクエリへの類似度に基づいて、ドキュメントが順位付けされます。テキスト類似性は、幅広いユースケースに役立てることができます。 Q＆A：よくある質問と回答のコレクションから、ユーザーが入力した内容と類似の質問を見つける。論文

[peketamin]

“各ベクトルコンポーネントの意味はしばしば不明瞭であったり、解釈可能な概念に相当しなかったりします”