ベクトルデータの容量を96%削減するBinary Embedding

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムの中では、どんな情報にアクセスするかを決定する際に、Embeddingと呼ばれる文章をベクトル化する技術が使用されています。そして多くの場合では小数(float)の多次元ベクトルが採用されています。 しかし、Embeddingの中には各ベクトルの数値を1Bitのデータとして扱うBinary Embeddingというものが存在します。 本記事では、Embeddingの手法の一つであるそのBinary Embeddingについて解説と検証を行います。 サマリー Binary Embeddingを採用することで以下のような効果を得ることができます。 保管するベクトルデータの容量を96%ほど削減で

[arrowKato]

容量は減るけど、embeddingの作成が 1-> top_k * 2 倍になりそうなのがネック。top_kは適当な値だけど、多分5とかと思われ

[misshiki]

“Embeddingの中には各ベクトルの数値を1Bitのデータとして扱うBinary Embeddingというものが存在します。 本記事では、Embeddingの手法の一つであるそのBinary Embeddingについて解説と検証を行います。”

[fujiko666]

学び

[cbkf]

重隅だけど、容量を96%削減してしまったら100保存できるメモリに4しか保存できなくなると思うのだが。

[hamamuratakuo]

RAG（Retrieval-Augmented Generation 検索拡張生成）　この記事では、RAGを使用する上で欠かせないEmbeddingの手法の一種である、Binary Embeddingについて紹介します。

[stealthinu]

バイナリembeddingで粗く抽出しといてそれを元のfloatでrerankするとほとんど精度下がらず高速にretrieveできると。なるほどな。今のところここまでretrieve重い案件ないが今後のために。

[ihirokyx]

“Binary Embedding”