SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏

SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試

[yarumato]

“SQLiteは、データの書き込み時にはデータベース全体にロックがかかる→高頻度にデータの書き込みが発生するWebアプリには不向き。読み取りトランザクションは並行実行可能→読み取り主体ならコスパ良く運用”

[razokulover]

D1とかで使えたりしないかな

[shunkeen]

各クラウドベンダーが、立ち上げるのも管理も簡単な、フルマネージドなベクトルストアを提供してくれたりはしないのかな。GCPのMatching Engineをボタンぽちぽち〜で使えるようにするみたいな。

[Windymelt]

へー面白い。写真の特徴量をなんらかの方法で(deepbooruみたいな)ベクトル化しておいたら、手元で簡易的な画像類似検索みたいなものを実装できるね。

[misshiki]

“SQLiteでベクトル検索を可能にするsqlite-vss”Pineconeみたいなベクトルデータベースと同様の処理をできるようにする。他にもRedisとかいろいろあるし比較記事がほしいところ。

[deep_one]

ベクトル検索の利点が出てるのかわからない。

[for-my-internet-demo]

なるほど〜