ブックマーク / zenn.dev/nishimoto (1)

  • 似た文書をベクトル検索で探し出したい ~SentenceTransformersとFaissで効率的にベクトル検索~

    はじめに この記事では、ベクトル検索で似た文書を検索するコードを解説します。具体的には、Sentence Transformersライブラリを用いてベクトル化、Faissという近似最近傍探索ライブラリを用いて高速な検索を行います。 用語説明 ベクトル検索 ... 文書の検索にベクトルを使用する方法。例えば、文書に映画に関する内容が 10 %、音楽が 2 %、俳優が30%含まれていた時、シンプルにそれを表すと [0.1, 0.02, 0.3]というベクトルを作ることができる。Googleの説明が詳しい。 Sentence Transformers ... ベクトル検索に必要なベクトル化を行うためのライブラリ Faiss ... ベクトル同士の類似度を高速に検索してくれるライブラリ。以下のHakkyさんのページが詳しい。 コード 入力:検索したい文字のリスト、検索される文字のリスト 出力:どの

    似た文書をベクトル検索で探し出したい ~SentenceTransformersとFaissで効率的にベクトル検索~
    gsggyhig
    gsggyhig 2024/03/18
    日本語モデルをあまり見たことない??もっとよく調べましょう。今回のものより良いモデルあります。検索精度に大きく影響するのでモデル選択は重要です
  • 1