ハイブリッド検索ができるということで、以前少し触ってみてそれからあまり触ってなかったWeaviateについて改めてやり直してみる。 やり直すきっかけになったのはこれ。 上記の記事にもあるように、Weaviateはベクトル検索・キーワード検索のハイブリッド検索ができる。ただし、日本語のキーワード検索の場合にはトークナイザーがそれに対応している必要があるのだけど、ここが以前は対応していなかった。(Weaviateで日本語ハイブリッド検索、みたいな記事がQiitaあたりにすでにあるけど、多分正しくトークン化されていないのでは?と思っている。) で、たまたまGitHubのレポジトリを見ていたら、どうやら以下のPRで日本語トークナイザーに対応したらしい。 また、これ以外にもWeaviateにはいろいろ便利な機能があって、かなり柔軟に使えそうな気がしているので(ただその分、他のベクトルDBに比べると最