Lance / LanceDBとは何か - Bering Note – formerly 流沙河鎮

マルチモーダル AI 向けのデータフォーマット Lance と、その上に構築されたデータベース LanceDB についてまとめます。AI/ML や検索に関わる要件を Parquet や Avro、それらの上に成り立つ Iceberg で扱うことに限界を感じていたところ、Lance がそうした要件にフィットすることに気づき、調べた内容を整理しました。Lance は Iceberg を置き換えるものとは限らず、カタログの共有や将来的なファイルレベルの統合など、組み合わせて使う道も開かれています。 はじめに 概要 Lance とは LanceDB とは SDK と対応エンジン 特徴 アーキテクチャ ファイルフォーマット エンコーディングとバージョン体系 圧縮とランダムアクセスの両立: structural encoding semi-structural transformations 参考論文

[tmatsuu]

「AI/ML や検索に関わる要件を Parquet や Avro、それらの上に成り立つ Iceberg で扱うことに限界を感じていたところ、Lance がそうした要件にフィットする」ほう