埋め込みモデルを利用して2文の類似度を判定する 〜Azure OpenAI・Vertex AIのモデルを比較 - EmotionTechテックブログ

エモーションテックで事業開発・データ分析（時々エンジニア）をしているイケガメです。 生成AIの登場によって、テキスト分析の常識は急速に変化しています。 その一方で、自然言語処理における基本的な考え方は、現在も変わっていません。 例えば、テキストの分類や検索において核となる「単語や文章のベクトル化（埋め込み）」は、今後も重要な基盤技術として位置づけられるでしょう。 この技術を利用することで、「2つのテキストの類似度」を判定することが可能になります。 今回は、Azure OpenAIとVertex AIのEmbedding（埋め込み）モデルを利用して、2つの文章の類似度を判定する実験を行いました。 これらのモデルは、2つの文章の類似度をどの程度正確に判定できるでしょうか。 実験概要 対象のモデル text-embedding-3-large （Azure OpenAIの最新モデル。3072次元