OpenAI Embeddings APIとベクトル検索エンジンValdを使って類似文章検索をしてみよう

ベクトルの準備 次にタイトル文章をベクトル化していきます。 OpenAIのアカウントを作成し、こちらからAPIキーを取得し、それを環境変数OPENAI_API_KEYに設定した後、次のコードを実行するだけで、入力文章のベクトルを取得できます。 import os import openai openai.api_key = os.environ["OPENAI_API_KEY"] client = openai.OpenAI() def get_embedding(text, model="text-embedding-ada-002"): text = text.replace("\n", " ") return client.embeddings.create(input=[text], model=model).data[0].embedding get_embedding("入力し

[nikkie-ftnext]

sentence-transformersでe5を使って比較してみたい

[misshiki]

“OpenAI Embeddings APIと近似近傍ベクトル検索エンジンValdを使って類似文章を検索をする例を紹介したあと、なぜValdのようなベクトル検索エンジンを使う必要があるのか、実際の検証結果と合わせて説明していきます。”