[B! embedding] arrowKatoのブックマーク

ベクトルデータの容量を96%削減するBinary Embedding

導入こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムの中では、どんな情報にアクセスするかを決定する際に、Embeddingと呼ばれる文章をベクトル化する技術が使用されています。そして多くの場合では小数(float)の多次元ベクトルが採用されています。しかし、Embeddingの中には各ベクトルの数値を1Bitのデータとして扱うBinary Embeddingというものが存在します。本記事では、Embeddingの手法の一つであるそのBinary Embeddingについて解説と検証を行います。サマリー Binary Embeddingを採用することで以下のような効果を得ることができます。保管するベクトルデータの容量を96%ほど削減で