SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
Parsing SQL - Strumenta
The code for this tutorial is on GitHub: parsing-sql SQL is a language to handle data in a relational database. If you worked with data you have probably worked with SQL. In this article we will talk about parsing SQL. It is in the same league of HTML: maybe you never learned it formally but you kind of know how to use it. That is great because if you know SQL, you know how to handle data. However
日本語の全文検索ぜんぶんけんさく (full-text search, FTS) を、高速に実行する Python コード例です。 Python の標準モジュール sqlite3 を使用しました。 sqlite3 から、SQLiteエスキューライト の全文検索 (FTSエフティーエス) を使ってみました。 試したのは、FTS4エフティーエスフォー と FTS5エフティーエスファイブ の２種類です。 ところで、SQLite の読み方は色々ありました。YouTube では、エスキューライト、エスキューエライト、スィクライト、スィクエライト、などの発音を聞きました。 全文検索の使い方（FTS の使い方）ですが、テキストを N-Gram にして、FTS4 か FTS5 の仮想テーブルに INSERT するだけでした。 （2022年2月5日 追記）MeCab の使い方も書きました。 MeCab で
Pythonで簡単DB - Qiita
pythonでsqlite3データベースを簡単に使う SQLとかわかんないよみたいな方だってデータベースに触れたら世界が変わるかも知れない。わかんないけど。 ほとんどの場合ざっくりと簡単なクエリ発行で事足りる場合が多いので、SQLに詳しい方だって多分楽できるかも。 DBクラスとDBwrapperクラス ほぼ素に近い状態でsqliteを使うDBクラスと、そのDBクラスを継承して簡単に使えるファンクションを追加したのがDBwrapperクラス。 DBwrapperクラスはDBクラスのファンクションを全部使えるのでとりあえずDBwrapperクラスを取り込んで使えば便利。 たとえば dict型でデータを作って set とか読んでやればDBにデータを挿入・更新できたり get をforで回してやれば1行づつデータが取り出せる。 データの件数も count で取り出せるぞ、手軽だね。 詳しくは以下の
sqlc generate は何をしているのかメモ
[2023-09-11 追記] 以下のブログの方が分かりやすいので、そちらを読むことをお勧めします。 sqlc internals - 薄いブログ 最近、個人開発で Go のアプリケーションからデータベースを操作するために sqlc を使っている。sqlc は SQL で書いたスキーマのファイルから sqlc generate コマンド一つで Go の構造体を、クエリのファイルから型安全な Go の SQL クライアントを生成することができる。1 私は普段の仕事で ORM が提供するメソッドやクエリビルダを使って SQL を組み立てている。ORM は便利ではあるが、最終的に実行される SQL は可読性が低くてデバッグしづらいことが多い。そのため「最初から SQL を書けば良いのでは…？」と考えるようになり、初めて sqlc を見たとき自分の好みに合うツールと確信した。 使い方は簡単で便利な
Current Best: 100M rows inserts in 33 seconds. (you can check the source code on Github) Recently, I ran into a situation where I needed a test database with lots of rows and needed it fast. So I did what any programmer would do: wrote a Python script to generate the DB. Unfortunately, it was slow. Really slow. So I did what any programmer would do: went down the rabbit hole of learning more about
参考文献 ※1 EDINET API機能追加に係る利用者向け説明会資料 ※2 EDINET API仕様書 Version2 ①会社名の選択 まず会社一覧及び、会社のEDINETコードが必要になってきます。 これについてはAPIで取得する方法はなく公式サイトからZIPを落としてくるか ここからプログラム的に自動でダウンロードする必要があります。 今回は手動であらかじめダウンロードしたものを使います。 公式サイトからダウンロードすると毎回リンクが変わる、上記の直接リンクだと固定という謎仕様のようです（ドキュメントにもそうかいてある） ZIPを展開するとShift-JISのCSVが手に入ります。文字コードに注意しましょう。EDINETからダウンロードするCSVはUTF16なのにこっちはShiftJISなのです。 中身は上記のようなもになっています。 末尾に0がついているものの証券コードも入ってい
Published on 2022-01-04, 1640 words, 6 minutes to read It is clear that most of the world has decided that they want to use JSON for their public-facing API endpoints. However, most of the time you will need to deal with storage engines that don't deal with JSON very well. This can be confusing to deal with because you need to fit a square peg into a round hole. However, SQLite added JSON function
PythonとSQLの連携: データベース操作の新しい次元 - Python転職初心者向けエンジニアリングブログ
**** SQL（Structured Query Language）はデータベース管理システムで広く使用される言語であり、Pythonとの連携により柔軟で効率的なデータベース操作が可能です。今回は、PythonからSQLを利用してデータベースに接続し、クエリを実行する手法について具体的なコードとともに解説します。 1. PythonからSQLiteデータベースに接続する 最初に、PythonからSQLiteデータベースに接続する例を見てみましょう。SQLiteは軽量でシンプルなデータベースエンジンであり、Python標準ライブラリにも含まれています。 Pythonのコード import sqlite3 # SQLiteデータベースに接続 conn = sqlite3.connect('sample.db') # カーソルを取得 cursor = conn.cursor() # データベー
Sketch of a Post-ORM
I’ve been writing a lot of database access code as of late. It’s frustrating that in 2023, my choices are still to either write all of the boilerplate by hand, or hand all database access over to some inscrutable “agile” ORM that will become a crippling liability in the 2-3y timescale. This post is about how I want to use databases, from the perspective of an application server developer—not a DBA
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
【Python】SQLite で日本語を全文検索するコード例【N-Gram, FTS4/FTS5】
Towards Inserting One Billion Rows in SQLite Under A Minute - blag
StreamlitでEDINETから有価証券報告書をダウンロードして分析するWEBアプリをサクっとつくろう
Bashing JSON into Shape with SQLite