自然言語のベクトル化とベクトルDB - Qiita

はじめに コンピューターが自然言語を比較し、類似性や特徴などを計算する場合、文章を数値化して処理を行います。具体的には、ベクトル化 (Embedding) することで、非構造化データの類似度も計算できるようになります。 Yellowfin には、AI搭載の自然言語クエリ (NLQ) で質問する機能が搭載されています。同機能は、OpenAI の ChatGPT と連携して自然言語を処理していますが、ChatGPT などの生成 AI が自然言語を取り扱うためには、データのベクトル化技術が欠かせません。 本記事では、文章のベクトル化とベクトル DB に関して、簡単に記述したいと思います。 ベクトル ベクトルとは向きと大きさを持った量のことを意味します。 以下のイメージでは、A 点と B 点は、それぞれ異なる向きと大きさを持っています。 ベクトル化された文章や単語は、2 点間の距離や方向などを計算