SQLite vs DuckDB on the same $16 box: every cliff moved 100x · Traceway
A read cliff, throughout this series, is the largest table size at which real dashboard pages still load: the median of three endpoint probes at or under 5 seconds, none timing out. It earns the name because of what sits one 10x step past it: queries don't slow down, they stop coming back. Each signal's read cliff sits exactly 100x further out on DuckDB than on SQLite, at equal or better latency,
SQLite on EFSは書き込みロックできる
はじめに こんにちは。がれっとです。 先日ECSとRDSをやめて、AWSコストを9割削減しましたという記事を投稿したところ、興味深いコメントを見つけたので検証してみました。 結論 EFS上のファイルには通常のSQLite相当のロックを行うことができ、SQLiteの書き込みが競合してバイナリファイルが壊れるといったことは基本的にない。 検証内容 SQLiteは書き込みロックをOSによるファイルロックを使用して実現しているため、Network File System上のファイルに対してうまくいかないというコメントを発見しました。 たしかに、SQLite公式ドキュメントにもその旨が記載されています。 そのため、本当にEFS上のSQLiteは書き込みが競合して壊れるのか、検証していきます。 AWS 構成図 マウントポイントによってロックのかかり方が異なる可能性を否定できなかったため、念の為アベイラ
sqlite3 WebAssembly & JavaScript Documentation Index
This site is home to the documentation for the SQLite project's WebAssembly- and JavaScript-related APIs, which enable the use of sqlite3 in modern WASM-capable browsers. Cookie/storage disclaimer: this site requires a modern, JavaScript-capable browser for full functionality. This site uses client-side storage for persisting certain browsing preferences (like the bright/dark mode toggle) but its
SQLite Wasm + OPFSで簡単アプリ化！ビジネスに活かすWasmとWeb技術
Wasmでお金を稼げるプロダクトは作れるのか？ こんにちは。私は技術者としてはかなりミーハーな部類に入ります。 そんなミーハーな私は盛り上がっている分野についてはとりあえず触ってみたい欲が先行します。 ここ数年で盛り上がっている分野といえば色々とありますが、例えばWasmはソフトウェアエンジニア界隈を中心に盛り上がっている分野の一つとして数えてもよいでしょう。 私自身Webフロントエンド開発なども行っているため、分野的にもWasm、そしてWasmを活用した事例などは気になるところです。 ところでこういった気になる分野の技術については、なるべくビジネス的にも機能する形で落とし込みたいと常日頃考えています。 つまり その技術を使うことでお金を得ることができる という状況で使いたいのです。 これは私の性格的な部分が大いに影響していると思いますが、趣味的な用途でしかその技術を利用しない場合、ちょっ
SQLite on the edge
Plug & Play SQLite Batteries-included scale-to-zero database built on Cloudflare Durable Objects.
Notionブラウザ版、WebAssembly版SQLite3でページ遷移速度を20％改善 実装時の苦労と教訓とは？
クロスプラットフォームのワークスペースアプリ「Notion」を提供するNotion Labsは2024年7月10日（米国時間）に公式ブログで、NotionのブラウザバージョンのデータキャッシュにWebAssembly（WASM）実装の「SQLite3 WASM/JS」（以後、WASM版SQLite3）を採用した事例を紹介する記事を公開した。 2021年ごろ、WindowsおよびmacOS版のNotionデスクトップアプリにおけるパフォーマンス向上を目的にSQLiteを採用した同社は、ネイティブのモバイルアプリでもSQLiteを採用してきた。そして、ブラウザ版アプリには、WASM版SQLite3を採用したという。 Notion Labsは「WASM版SQLite3を採用することで、全ての最新ブラウザでページ間の遷移のパフォーマンスを20％改善できた。インターネット接続など外部要因によりAPI
なぜSQLiteはバイトコードを使うのか
以前にデータベースを自作しようとして、SQLiteのアーキテクチャを見てみたらVMだったことに疑問を感じ、それをツイートしたところ作者からリプをもらいました。 作者いわく、次のような背景があったとのことでした。 SQLiteを作った当初はデータベースエンジンのことをよく知らないがコンパイラのことをよく知っていた SQLデータベース・エンジンを書くという問題をコンパイラ構築の問題として扱うのは自然なことだった データベースエンジンのコアの部分をVMにするという発想がまったくなかったので、どんなメリットがあるのか？と気になっていました。 それを作者に聞いたら、詳細な説明ページを作ってくれました。 個人的にVMにしたことで、評価&実行のパフォーマンスは多少良くなると思うが、データベースエンジンのパフォーマンスにそれほど寄与していないんじゃないかな？って思ったりしました。 本記事はそのページについ
goqite is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler)
goqite (pronounced Go-queue-ite) is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler). $ go get maragu.dev/goqite See goqite on Github Examples Queue package main import ( "context" "database/sql" "fmt" "log/slog" "os" "time" _ "github.com/mattn/go-sqlite3" "maragu.dev/goqite" ) func main() { log := slog.Default() // Setup the db db, err := sql.Open("
Optimizing SQLite for servers
SQLite is often misconceived as a "toy database", only good for mobile applications and embedded systems because it's default configuration is optimized for embedded use cases, so most people trying it will encounter poor performances and the dreaded SQLITE_BUSY error. But what if I told you that by tuning a
SQLite を再実装する時に役にたつドキュメント - kawasin73のブログ
困った時はドキュメント、どうもかわしんです。最近、諸事情で SQLite のドキュメントを読んでいます。 前回の記事 で紹介した通り SQLite を Rust で再実装しています。おかげさまで 300 を超える Github Star もいただき嬉しいです。 github.com SQLite は全ての仕様が ドキュメント にまとめられているので、そのドキュメントと本家の実装を読み比べながら実装しています。 SQLite を再実装する上で特に以下のドキュメントは役にたちます。これらだけで最小限の SQLite の実装は作れると思います。 Overview Documents > About SQLite いかに SQLite がすごいかを自慢しているドキュメント。使おうとしている人には安心を、再実装しようとする人には絶望を与えてくれます。 Programming Interfaces >
sqlite-utils
sqlite-utils 4.1.1 ¶ CLI tool and Python library for manipulating SQLite databases This library and command-line utility helps create SQLite databases from an existing collection of data. Most of the functionality is available as either a Python API or through the sqlite-utils command-line tool. sqlite-utils is not intended to be a full ORM: the focus is utility helpers to make creating the initia
Why SQLite is so great for the edge
Why SQLite is so great for the edgeEveryone already knows that SQLite is great. This article makes the praise much more specific though — it explains why we, the developers of libSQL, think that SQLite is a great choice for bringing… This post references an older version of Turso. Turso is a full, ground-up rewrite of SQLite. Turso Cloud lets you query your databases over the wire or sync them to
WebAssembly版SQLiteがWASI対応に。VMware Wasm Labsチームが明らかに
VMware Wasm LabsチームはSQLite開発チームと協力し、WebAssembly SQLiteがWASI対応になったことを明らかにしました。 SQLiteは昨年11月にリリースされたバージョン3.40からWebAssembly版の「SQLite3 WASM/JS」へのコンパイルをサポートし、配布される公式のバイナリにLinux版、Windows版、Mac OS X版、Android版などと共にWebAssembly版の「SQLite3 WASM/JS」が含まれるようになりました。 参考：「SQLite3 WASM/JS」パブリックベータ公開。SQLite 3.40でサポート開始、WebブラウザなどでSQLiteが実行可能に 今回このWebAssembly版SQLiteが、WebAssemblyでクロスプラットフォームを対応するWASI（WebAssembly System I
SQLite performance tuning - Scaling SQLite databases to many concurrent readers and multiple gigabytes while maintaining 100k SELECTs per second - phiresky's blog
SQLite performance tuningScaling SQLite databases to many concurrent readers and multiple gigabytes while maintaining 100k SELECTs per second Jun 26, 2020 • Last Update Jul 31, 2022SQLite is an embedded SQL database. It’s extremely easy to setup, buildable as a single C file with libraries existing for basically all common programming languages. It doesn’t need any server setup or configuration si
Turso - Databases Everywhere
Millions of Databases. One Architecture.Built on SQLite. Lightweight enough to multiply, fast enough to run anywhere. Spin a database for every user, agent, and tenant. Why Agents Need a New DatabaseAgents will exist by the trillions and run everywhere. LLMs are wild, so compute gets sandboxed. The data pairing of this is giving each agent its own database to track files and assets, store memories
From Web SQL to SQLite Wasm: the database migration guide | Blog | Chrome for Developers
Required background The post Deprecating and removing Web SQL announced the deprecation of the Web SQL database technology. While the technology itself may be deprecated, the use cases addressed by the technology very much are not, so the follow-up post SQLite Wasm in the browser backed by the Origin Private File System, outlines a replacement set of technologies based on the SQLite database, comp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLiteをRustで書き直した「Limbo」が海外で話題に — 完全な非同期I/Oのサポート、WASM対応、メモリ安全性の確保など、Rustのメリットを全面的に享受
GitHub - coleifer/sqlite-web: Web-based SQLite database browser written in Python
GitHub - dgllghr/stanchion: A SQLite extension that brings column-oriented tables to SQLite
GitHub - asg017/sqlite-http: A SQLite extension for making HTTP requests purely in SQL
