運用コストを低く抑えつつ全文検索機能を実現したい: SQLite3 で全文検索を実現する fts5 、ベクトル検索を実現する sqlite-vss
運用コストを低く抑えつつ全文検索機能を実現したい: SQLite3 で全文検索を実現する fts5 、ベクトル検索を実現する sqlite-vss 2024-02-22 ドキュメント数が 1 万件に満たない状況で全文検索をしたいドキュメントは頻繁に更新はされずに日時の更新で十分オンラインでのインデキシングを考えなくてよいので、バッチで十分みたいな状態でポータビリティが高く運用コストが低い状態で全文検索を実現したいなと調べていたら SQLite3 が良さそうだったというお話。 全文検索を実現する拡張機能: https://www.sqlite.org/fts5.htmlfts5 から relevancy による order by が使えるようになったらしく、version 4 以前は、relevance をチューニングして改善するのは難しそうだなと思った。この拡張機能が作成された経緯としては
SQLite + Litestream + CloudRun で「個人開発並みの予算でもSQLを捨てない」バックエンド構築（Next.jsを例にして） - Qiita
SQLite + Litestream + CloudRun で「個人開発並みの予算でもSQLを捨てない」バックエンド構築（Next.jsを例にして）SQLite3個人開発Next.jsCloudRunLitestream この記事を書くに至った経緯と目的 個人開発やまだ利益の出ていないアプリって、予算の制約から選べるDBが限られてしまうことがあるよね。 具体的には Amazon DynamoDB や Cloud FireStore のような 「アクセス回数や通信量、保存サイズなどで金額が決まるDB（インスタンス起動時間ではなく）」 を選ぶことが多いと思うのだけど、これらのDBはNoSQLである以上、文字通り、SQLを使えないという難点がある。 だけどNoSQLのノウハウはちょっと一癖あるから、できることなら通常のRDBMSのようにSQLを使いたい... って人が結構いるんじゃないかなと思
Cloud Run + Litestream で RDB を使いつつ費用を格安に抑える
前から気になっていた Litestream を Cloud Run で使ってみたので、そのメモです。 Litestream とは？ サンプルコード 手順 動作確認してみる 制限事項 おまけ まとめ 参考 Litestream とは？ Litestream は、 SQLite のデータベースファイルを Amazon S3 や Google Cloud Storage などのオブジェクトストレージにリアルタイムでレプリケートすることができるオープンソースのツールです。 例えば通常 Cloud Run で DB エンジンとして SQLite を使用しようとしても、コンテナが破棄されると同時に毎回 SQLite のデータベースファイルも消えてしまうため、データを永続化することができません。 しかし Litestream を使用すれば、 SQLite のデータベースファイルをオブジェクトストレージに
Why Is SQLite Coded In C
Note: Sections 2.0 and 3.0 of this article were added in response to comments on Hacker News and Reddit. Since its inception on 2000-05-29, SQLite has been implemented in generic C. C was and continues to be the best language for implementing a software library like SQLite. There are no plans to recode SQLite in any other programming language at this time. The reasons why C is the best language to
Asynchronous I/O (asyncio) — SQLAlchemy 2.0 Documentation
Release: 2.0.29 current release | Release Date: March 23, 2024
GCP Cloud RunでLitestreamを利用する
https://zenn.dev/voluntas/scraps/f4939cbe92525c を見て、Cloud Run でもホストできると個人的にはうれしいかもなーと思って実験してみた コツとしては、 第二世代の実行環境 で動作させる コンテナ起動時にrestoreしてGCSからデータをロードするようにする 最大インスタンス数を1にする LitestreamのGCS対応はCloud Runの実行環境のサービスアカウントでは実行されないので、サービスアカウントを作り、SecretManager経由で鍵情報をファイルとしてマウントし、GOOGLE_APPLICATION_CREDENTIALS としてパスで与える。 といったところだった。 litestream replicate -exec が実行している内容を考えると、定期的にGCSへ更新する処理が走るので、Always on CPU
SQLModel
SQLModel, SQL databases in Python, designed for simplicity, compatibility, and robustness. Documentation: https://sqlmodel.tiangolo.com Source Code: https://github.com/tiangolo/sqlmodel SQLModel is a library for interacting with SQL databases from Python code, with Python objects. It is designed to be intuitive, easy to use, highly compatible, and robust. SQLModel is based on Python type annotatio
GitHub - qdrant/qdrant: Qdrant - High-performance, massive-scale Vector Database for the next generation of AI. Also available in the cloud https://cloud.qdrant.io/
Vector Search Engine for the next generation of AI applications Qdrant (read: quadrant) is a vector similarity search engine and vector database. It provides a production-ready service with a convenient API to store, search, and manage points—vectors with an additional payload Qdrant is tailored to extended filtering support. It makes it useful for all sorts of neural-network or semantic-based mat
LangChainでQdrantをためしてみる
LangChainが対応しているVector Databaseはいろいろあるけど、Qdrantがとても良さそうなので試してみた。 Qdrant (read: quadrant) is a vector similarity search engine and vector database. It provides a production-ready service with a convenient API to store, search, and manage points—vectors with an additional payload Qdrant is tailored to extended filtering support. It makes it useful for all sorts of neural-network or semantic-based ma
LangChain を使って自然言語で SQL データベースを操作する【GPT-3.5-turbo】
今回は、 LangChain を使って SQLite を直接操作する方法を試してみます。 GPT-4 をはじめ、大規模言語モデル(LLM)は非常の強力なツールですが、事前に学習されたデータを元に回答を作成します。自社ドキュメントを Embedding したり、 Google 検索を利用したり、あるいはこれらを使い分けたりして学習されていないデータを元にした回答を作成する方法もあります。いわゆる ChatGPT を自社ビジネスに利用したいとなると真っ先に検討される内容と言えるのではないでしょうか。 一方で、生成系としての使い方には別の面もあります。出力される文字列を最終的なアウトプットとして利用するのではなく、別のツールの input として利用する考え方です。 ChatGPT にプログラムを書かせたり、SQL を書いてもらったりというのがこの方式であると言えます。 LangChain から
最近話題のVector Searchを実現するFaissって何？ #1｜masuidrive
Faissを使ったFAQ検索システムの構築Facebookが開発した効率的な近似最近傍検索ライブラリFaissを使用することで、FAQ検索システムを構築することができます。 まずは、SQLiteデータベースを準備し、FAQの本文とそのIDを保存します。次に、sentence-transformersを使用して各FAQの本文の埋め込みベクトルを計算し、そのベクトルをFaissインデックスに追加します。新しいクエリが入力されたときは、sentence-transformersを使用してクエリの埋め込みベクトルを計算し、Faissインデックスを使用して、クエリの埋め込みベクトルに最も類似したFAQの埋め込みベクトルを検索します。 検索結果は、FAQのIDのリストとして返され、最後に返されたIDを使用して、SQLiteデータベースから関連するFAQの本文を取得し、検索結果としてユーザーに表示されま
Bedrock: The SQLitening · Mozilla Marketing Engineering & Operations
On its face www.mozilla.org doesn’t look like it would be a complex application to write, maintain, or run. But when you throw over 100 million unique visitors per week at any site it can complicate things quickly. Add to that translations of the content into over 100 languages and you can start to get the idea of where it might get interesting. So we take every opportunity to simplify and reduce
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
Robolectric
Running tests on an Android emulator or device is slow! Building, deploying, and launching the app often takes a minute or more. That’s no way to do TDD. There must be a better way. Robolectric is a framework that brings fast and reliable unit tests to Android. Tests run inside the JVM on your workstation in seconds. With Robolectric you can write tests like this: @RunWith(RobolectricTestRunner.cl
sqlite-utils command-line tool - sqlite-utils
sqlite-utils command-line tool# The sqlite-utils command-line tool can be used to manipulate SQLite databases in a number of different ways. Once installed the tool should be available as sqlite-utils. It can also be run using python -m sqlite_utils. Running SQL queries# The sqlite-utils query command lets you run queries directly against a SQLite database file. This is the default subcommand, so
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Publishing a database to Vercel — Data analysis with SQLite and Python, PyCon 2023 15a0723 documentation
How to Connect Google Sheets to SQLite
Introducing sqlite-vss: A SQLite Extension for Vector Search
ブログシステム「WordPress」が「SQLite」の正式サポートを模索／設置・運用コストの削減で比較的小規模なWebサイトへの普及を狙う
GitHub - simonw/db-to-sqlite: CLI tool for exporting tables or queries from any SQL database to a SQLite file