Elasticsearch v8.9 で実装した日本語NLP、ベクトル検索（セマンティック検索）を使ってみる - Qiita

Elasticsearch v8.9 で実装した日本語NLP、ベクトル検索（セマンティック検索）を使ってみるNLPElasticsearchベクトル検索VectorSearchVectorStore はじめに Elasticsearchはそれなりに以前からベクトル検索を実現していて、加えてv8.0からは外部のNLPモデルをElasticsearchに取り込んで、Elasticsearch上でテキストのベクトル化（embedding）を実行することが可能でした。しかし残念ながら日本語については、テキストのトークナイズ処理が対応しておらず、適切なテキスト分析ができない状態でした。 そこで日本語モデルを利用する際に適切なトークナイズを実現できるように以下のPRを送ったところ無事マージされてv8.9から利用できるようになりました。 ElasticsearchのPR ElandのPR そこでこの取り

[sh19910711]

"日本語モデルを利用する際に適切なトークナイズを実現できるように以下のPRを送ったところ無事マージされてv8.9から利用できるように / RRF: ベクトル検索と通常のキーワード検索の結果をうまくブレンド"