SQLite3で「database schema has changed」のログが出るとき - やったこと
この前自分のサイトにアクセスが急増する出来事があって、そのときにwebサーバに見たことないエラーログが出力されていた。 下記のような感じのログ。 code:17,database schema has changedこのエラーは、PDOのプリペアドステートメントを使ってデータベース(sqlite3)を更新する箇所で発生していた。 エラー文の意味を英語ブログを読み解きながら調べてみたら、どうも以下のようなことが起きたらしい（日本語ブログには全然説明がなかったぞ！） プリペアドステートメントの機能として、SQL構文のチェックの高速化のためにDBの構造（スキーマ）をキャッシュする、というものがあるらしいんだけど、このキャッシュを利用する際に、もし他のプロセスがDBテーブルの登録・削除処理行って構造（スキーマ）が変わってしまっていた場合、キャッシュが利用できなくなったとみなしてエラーを発生させる、
SQLite C言語向けAPI チートシート - Qiita
SQLite C言語向けAPI チートシートです。 自分以外の需要があるかどうか不明ですが、頻繁に使うもの、便利そうなものについて逐次メモしていきます。 環境 SQLite:3.8.6 ビルド環境：gcc 4.8.1 必要なもの 本家ダウンロードから、ソースコードもしくはWindows用DLLを落としきて利用できるようにしておいてください。ヘッダファイルはソースコードが入っているzipの中にあります。 参考サイト 本家イントロダクション 本家リファレンス c/c++でsqliteを使う方法 - ぴょぴょぴょ？-Linuxとかプログラミングの覚え書き- 「SQLite3」に関するページ - idocsq.net データベースの基本的な使用方法 とりあえず、これさえおさえておけば使うことはできる！とうわけで、 DBファイルを開いて、データの挿入と抽出をする方法について記します。 DBファイルの
SQLite データベースファイル形式の徹底解説！プログラマー視点で読み解く詳細ガイド [ja]
Database File Format SQLite データベースファイル形式：プログラミング観点からの詳細解説この解説では、SQLite データベースファイル形式の構成と各要素について詳細に掘り下げ、プログラミングでどのように利用できるのかを分かりやすく説明します。 ファイル構成ファイル構造の概要 ジャーナル: 最新のトランザクションに関する情報を含むフリーリスト: 利用可能なページのリストB-Tree ページ: テーブルデータとインデックスを格納する主要なデータ構造SQLite データベースファイル形式には、以下の主要なデータ構造が含まれます。 1 ページページの種類: データページ: テーブルデータを含むインデックスページ: インデックスエントリを含むフリーリストページ: 利用可能なページのリストを含む2 B-TreeB-Tree は、SQLite で使用される木構造インデックスで
sqlite3でDBを操作してみる(C++編) - Elsaの技術日記(徒然なるままに)
以前sqlについて簡単にまとめました。 今までnodejsやpython、go言語などでsqlを用いてDBの操作したことがあったのですが、 CやC++でsqlを利用したことがなかったので今回使ってみました！！ elsammit-beginnerblg.hatenablog.com ちょっとばかしクセのある使い方だったので備忘録として残しておこうと思います。 ■環境構築 ■sqlite3操作(データベースを開く) ■sqlite3操作(テーブルを作成する) ■sqlite3操作(データを挿入) ■sqlite3操作(テーブル有無チェック) ■最後に ■参考 ■環境構築 今回用いる環境ですが"Ubuntu 20.04"を用いました。 C言語やC++でsqlite3 を用いる場合には、 sqlite3.hが必要になるのですが、標準ではこららのライブラリが未インストールになります。 そこでこちらの
SQLite - Compile-time Options [ja]
1. Overview ほとんどの場合、 SQLite はデフォルトのコンパイル オプションを使用して問題なくビルドできます。ただし、必要に応じて、以下に記載されているコンパイル時オプションを omit SQLite features (結果として smaller compiled library size ) に使用したり、一部のパラメータの default values を変更したりするために使用できます。 コンパイル オプションのさまざまな組み合わせが調和して動作し、動作する library が生成されるように、あらゆる努力が払われています。ただし、非標準のコンパイル オプションでビルドされた SQLite library を使用する前に、 SQLite テスト スイートを実行してエラーをチェックすることを強くお勧めします。 2. 推奨されるコンパイル時オプション SQLite が使
SQLite3学習をはじめよう - やってみる
なんもわかってなかったと気付く。 対象環境 2019-08-03 きっかけ 偶然こちらで表制約の存在をはじめて知った。こんな基本的なことすら知らなかったことにショック。 たとえば create table if not exists MyTable( id int primary key, age int, name text, constraint c1 check((0<=age and age>=200) and (name='A' or name='B')) ); 以下2つを知らなかった。 if not exists constraint 反省 今までネットで見たコードを適当にコピペして理解したつもりになっていた。別に今まで困らなかったから、と思っていたが、if not existsを知らないがゆえにdrop tableしてからcreate tableとかやってた。いや、結果的にそ
なぜSQLiteはバイトコードを使うのか
以前にデータベースを自作しようとして、SQLiteのアーキテクチャを見てみたらVMだったことに疑問を感じ、それをツイートしたところ作者からリプをもらいました。 作者いわく、次のような背景があったとのことでした。 SQLiteを作った当初はデータベースエンジンのことをよく知らないがコンパイラのことをよく知っていた SQLデータベース・エンジンを書くという問題をコンパイラ構築の問題として扱うのは自然なことだった データベースエンジンのコアの部分をVMにするという発想がまったくなかったので、どんなメリットがあるのか？と気になっていました。 それを作者に聞いたら、詳細な説明ページを作ってくれました。 個人的にVMにしたことで、評価&実行のパフォーマンスは多少良くなると思うが、データベースエンジンのパフォーマンスにそれほど寄与していないんじゃないかな？って思ったりしました。 本記事はそのページについ
同時実行制御とSQLite3 - Qiita
Exclusive control Shared lock, Exclusive lock トランザクションの競合が発生すると前述の競合問題が発生する. 競合を回避してデータの一貫性を保証するためには共有リソースへのアクセスを制限するロックメカニズムを導入して排他制御を促進する. 排他制御とは, 他のトランザクションから共有リソースへのアクセスを制限(ロック)するものである. ロックはトランザクションの完了まで保持されたあと解除され, 他のトランザクションはそれまで共有リソースへアクセスすることができない. ロックは他のトランザクションのアクセスを制限するという特性から, パフォーマンスに大きく影響する. そのためロックにはいくつか形態があり, 用途によって使い分けられる. ロックの形態は大きく2つ存在する. Shared lock - 共有ロック トランザクションがデータを読み込む場合の
SQLite3: トランザクション中に更新処理を行うとSQLITE_BUSY(5)が発生する - ITエンジニアの備忘録
iOS 13.3, XCode 10.3で確認。 テーブルロック時のSQLITE_BUSY(5) SQLite3ではトランザクションによってテーブルロックがかかっている場合、そのテーブルを更新しようとするとSQLITE_BUSY(5)が発生する。 SQLITE_BUSY(5)については以下を参照。 www.sqlite.org 対処法 この問題について、SQLite3ではsqlite3_busy_timeoutを実行してタイムアウトまでの時間をセットすることで自動的にリトライしてくれる機能があり、これで回避することができる。 sqlite3_busy_timeoutについては以下を参照。 www.sqlite.org トランザクション中に更新処理を行うと発生するSQLITE_BUSY(5) BEGIN DEFERREDでトランザクションを開始した場合に発生する。SQLite3ではトランザク
SQLite覚え書き -
C/C++環境でsqliteを使用する際の覚書です。 環境 Ubuntu18.04 (4.15.0-36-generic, 64bit) gcc 7.3.0 (Ubuntu 7.3.0-27ubuntu1~18.04) sqlite3 3.22 C/C++ API使い方 基本的な使い方の覚書です。 DB接続と切断 sqlite3_open()もしくはsqlite3_open_v2()でデータベースに接続します。ファイル名がUTF-16の場合はsqlite3_open16()を使用します。使い終わったらsqlite_close_v2()で切断。 #include <sqlite3.h> int main() { sqlite3* db; // open db connection int rtn = sqlite3_open_v2( "test_bench.db", &db, SQLITE_
分散 SQLite の mvSQLite でタイムトラベルにおねがい
Docker Compose の --scale で「実際に何か動かしてみよう」と mvSQLite を利用してみたところ、Time travel などが予想以上に面白かったので記事にしてみました。 mvSQLite とは？ 表題から推測できるように分散する SQLite なのですが、他にも特徴があるので詳細は README の Features を読んでいただくのが良いかと(丸投げ)。 Full feature-set from SQLite: mvsqlite integrates with SQLite using either a custom VFS layer or FUSE at your choice. Since it is a layer "below" SQLite itself, all of SQLite's features are available. Tim
SQLite使ってみる その1 - ForestEXOR Games Blog
SQLiteの使い方を一通り、基本的にゲームクリエイター視点です。 使い方はggって色々な所を参考にしたのでここを見るよりそちらを見た方が詳しくわかると思う… ・環境 VisualStudio Community 2015 sqlite-amalgamation-3240000.zip(sqlite3.hとsqlite3.cを使用) sqlite-dll-win32-x86-3240000.zip(sqlite3.dllをsqlite3-x86.dllに名前変更) ・とりあえず使用準備 使用するDBファイルには特に拡張子は必要無いが一応.dbと付けておく。 #include <stdio.h> #include "sqlite3.h" #pragma comment( lib, "sqlite3-x86.dll" ) int main(){ char* strDBName = "test.
SQLite のおもしろ仕様 (2) : ファイルフォーマット - kawasin73のブログ
後方互換性って辛いね、どうもかわしんです。 最近 Rust で SQLite をフルスクラッチで再実装しています。 github.com 再実装するために SQLite の公式ドキュメントやソースコードを読み込んでいるわけですが、その過程で気付いたおもしろポイントを共有しようかと思います。 今回はその第二弾、ファイルフォーマット編です。第一弾はこちら：SQLite のおもしろ仕様 (1) : データ型 - kawasin73のブログ 前提知識 : ページ まず、この記事を面白いと思ってもらうための前提知識です。 大抵のデータベースはデータを保存するファイルをページという単位で管理します。SQLite ではデフォルトでは 1 ページ 4096 バイトです。これは、ファイルを保存するデバイス（HDD や SSD など）としてブロックデバイスを想定しているからです。ブロックデバイスとはデータの読
[Rust] RusqliteでSqliteを操作する | DevelopersIO
Introduction Rustでsqliteを操作するためのcrateはたくさんありますが、 今回はRusqliteというcrateを使って Sqliteにアクセスしてみました。 RustからPostgreSQLにアクセスするcrate、rust-postgresをベースに作成されており、 似たようなインターフェイスで使うことが可能になっています。 Environment MacBook Pro (13-inch, M1, 2020) OS : MacOS 11.3.1 rust : 1.61.0 Try Sqliteのセットアップ まずはsqlite3をHomebrewでインストールします。 % brew install sqlite3 インストールできたらexample_db.db3と名前指定して起動。 % sqlite3 example_db.db3 sqlite> テーブル作成
![[Rust] RusqliteでSqliteを操作する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/dd5670c7677ae91c06d8d1435b350baf9e3cff8a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F09%2Frust-logo-1200x600-1.png){kind=logo}
SQLite を再実装する時に役にたつドキュメント - kawasin73のブログ
困った時はドキュメント、どうもかわしんです。最近、諸事情で SQLite のドキュメントを読んでいます。 前回の記事 で紹介した通り SQLite を Rust で再実装しています。おかげさまで 300 を超える Github Star もいただき嬉しいです。 github.com SQLite は全ての仕様が ドキュメント にまとめられているので、そのドキュメントと本家の実装を読み比べながら実装しています。 SQLite を再実装する上で特に以下のドキュメントは役にたちます。これらだけで最小限の SQLite の実装は作れると思います。 Overview Documents > About SQLite いかに SQLite がすごいかを自慢しているドキュメント。使おうとしている人には安心を、再実装しようとする人には絶望を与えてくれます。 Programming Interfaces >
SQLite、複数クライアントからの同時書き込みを可能にする「BEGIN CONCURRENT」文を実装へ
SQLite、複数クライアントからの同時書き込みを可能にする「BEGIN CONCURRENT」文を実装へ SQLiteの開発チームは、複数クライアントからの同時書き込みを可能にするBEGIN CONCURRENT文を実装していることを明らかにしました。 これまでSQLiteでは書き込みの同時実行はできず、つねに1つのクライアントだけが書き込み可能でした。 同時書き込み処理は、データベースのジャーナルモードが「wal」（Write-Ahead-log）もしくはwalを改良した「wal2」で、BEGIN CONCURRENT文を実行した場合に可能となります。 どのように同時書き込み処理が行われるのかについては、上記のWebページの説明を引用しましょう。 ロックが延期されることで同時書き込みが可能に まず、書き込み時のロックがCOMMITまで延期されることで同時書き込みが実現されると説明されて
「難しいこと」から「不可能なこと」に変えてしまいたい スマートフォン内に保存しているデータベースの暗号化にLINEが取り組む理由
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで高梨雄大氏とBruce Evans氏が、スマートフォン内に保存しているデータベースの暗号化に対するLINEの取り組みについて共有しました。まずはAndroid側について高梨雄大氏から。 なぜLINEがデータベースの暗号化に取り組んでいるか 高梨雄大氏（以下、高梨）：「About Affinity Between SQLCipher and Room/CoreDate」というタイトルで、スマートフォン内に保存しているデータベースの暗号化のLINEの取り組みについて紹介したいと思います。 こちらが本セッションのアジェンダです。なぜLINEがデータベースの暗号化に取り組んでいるか、暗号化に用いるSQLCipherは
SQLite Internals: Pages & B-trees
SQLite Internals: Pages & B-trees Author Name Ben Johnson @benbjohnson @benbjohnson Image by Annie Ruygt Fly.io runs apps close to users around the world, by taking containers and upgrading them to full-fledged virtual machines running on our own hardware around the world. Sometimes those containers run SQLite and we make that easy too. Give us a whirl and get up and running quickly. Ok, I’ll admi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
sqlcを試す(with SQLite3)
【ExcelVBA】ExcelのマクロがSQLiteのデータベースに接続するには
