ファイルシステムよりも35％高速に | POSTD
1. 概要 SQLiteを使うと小さなBLOB（例：サムネイル画像など）を読み書きする場合、fread()やfwrite()を使って個別のファイル上に記録されたBLOBを読み書きするよりも35％も速く (*1) 読み書きができます。 さらに、10キロバイトのBLOBを扱うようなSQLiteデータベースを考えた場合、個別のファイルにそれぞれのBLOBを格納する場合に比べてディスク領域を約20％も節約可能です。 このようなパフォーマンスの差が生じる理由は、（私たちの考えでは）SQLiteデータベースの場合、open()やclose()システムコールが呼び出されるのが1回だけなのに対して、個別のファイルに格納されているBLOBを使用する場合は、open()やclose()がBLOBの数だけ呼び出されるためだと思われます。どうやらopen()とclose()を呼び出すオーバーヘッドは、データベース
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 - エンジニアHub｜Webエンジニアのキャリアを考える！
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
初心者のためのSQLガイド???? : SQLを直感的に理解しよう | POSTD
SELECT * WHERE a=b FROM c ？ それとも SELECT WHERE a=b FROM c ON * ？ もしあなたが私のようなプログラマだったら、SQLは、初めは優しく見える言語の1 つかもしれません（ただ単に普通の英語通り読めばいいですから）。ですが、何かしらの理由で、なんてことのないクエリにもいちいち正しいシンタックスをググらなければいけないでしょう。 いずれJOINにAGGREGTATION、サブクエリにたどり着くでしょうが、読んだとしてもさっぱりでしょう。例えば次のような感じです。 SELECT members.firstname || ' ' || members.lastname AS "Full Name" FROM borrowings JOIN members ON members.memberid=borrowings.memberid JOIN
Python 軽量ドキュメントデータベース TinyDB
私が選ぶ2015年の”新しい”Pythonモジュール トップ5 こちらで紹介されている「TinyDB」 http://tinydb.readthedocs.org/en/latest/index.html Pure Pythonなドキュメントデータベースなようです。 インストールして使ってみます。 インストール インストールはeasy_installで行いました。 バージョン3.1.2がインストール出来ました。 データの登録と検索 こちらを参考に、使い方を調べてみます。 http://tinydb.readthedocs.org/en/latest/getting-started.html まず、データベースの作成とデータ登録を行ってみます。 from tinydb import TinyDB, Query# データベースオープン 引数はファイル名db = TinyDB('db.json'
Firefoxは訪問回数を記録している - やぎさんはわらばんしをたべる
places.sqliteに入ってるmoz_historyvisitsというテーブルを見ればわかると思うけど、Firefoxはユーザーがいつどこのサイトに訪問したのか記録している。 こういうデータを解析すると面白いことがわかりそうなのだが、残念ながら小生は統計にもSQLにも詳しくないので、あまり複雑なことができない。とりあえず「よくアクセスするページのランキング」を作ってみた。 SQLを勉強中で、なおかつFirefoxユーザーであるなら、実際のデータを見てみると色々参考になるかも。 -- よくアクセスするページのタイトルとURLを訪問回数順に100件表示 SELECT h.visit_count, p.title, p.url FROM moz_places AS p INNER JOIN ( SELECT place_id, count(place_id) AS visit_count
Alasql.js - オンメモリで動作するJavaScriptデータベース MOONGIFT
JavaScriptを活用したWebアプリケーションを開発している際に、一時的に保存したいデータをどのように扱うかは大きな問題です。何となく変数や配列、ハッシュに保存してしまいがちですが、そのデータの取り出しや更新が面倒だったりします。 そこで使ってみたいのがAlasql.jsです。JavaScriptだけで作られたクライアントサイド向けのSQLデータベースになります。 Alasql.jsの使い方 使い方の例。データを配列で放り込んで、SQLで取り出せます。 デーブルの作成を含めてSQLが書けます。 データはlocalStrageに保存することもできるので、再読込時に復元も可能です。 Alasql.jsはHTML5仕様の中で検討されていたWeb SQLとは異なる実装で、オンメモリで動きます。高速で動作し、かつデータはlocalStrageに保存しておくこともできるので容量は小さいながらも永
sqlite3 の datetime 関数について - まにっき
これまでは日付間の計算をするときに便利な epoch で保存してたのだけど、database の中身を覗くときに不便に感じることが増えてきたので、これからは "%Y-%m-%d %H:%M:%S" 形式で保存するようにしたい。 sqlite3 にはそれなりの datetime 関数もあることに気づいたので調べてみた。 実験 実行環境は shell 版 sqlite3 にて。 sqlite3 hoge.db "select strftime('%s', '1970-01-01 00:00:00')" => 0 sqlite3 hoge.db "select strftime('%s', '1970-01-01 00:00:00', 'localtime')" => 32400 sqlite3 hoge.db "select strftime('%s', '1970-01-01 00:00:0
SQLite3を使用する - Python Tips
軽量・高速なデータベースSQLiteをPythonから扱うためのライブラリ。 インストール Python2.5から標準ライブラリに入りました。 インストール作業は不要です。 使用方法 sqlite3をインポートする #!python2.6 # -*- coding: utf-8 -*- import sqlite3 データベースを作成する con = sqlite3.connect("data.db") ファイルがすでに存在するときはファイルを開く。 ファイルがないときは新しいデータベースを作成する。 isolation_levelにNoneを指定すると、自動コミットモードになります。 con = sqlite3.connect('temp.db', isolation_level=None) 特別な名前である ":memory:" を使うとRAM上にデータベースを作ることもできます。 c
文字列を一括置換するSQL文 – 文字列関数 REPLACE() – シングスブログ
シングスブログ 中小企業のマーケティングやブランディングのコンサルティング。事業開発 (ビジネスモデルの開発)、デジタルマーケティングやウェブサイト改善など事業の持続的・長期的な成長・発展に貢献できるサービスを提供しています。
はてなブログ | 無料ブログを作成しよう
思いは言葉に。 はてなブログは、あなたの思いや考えを残したり、 さまざまな人が綴った多様な価値観に触れたりできる場所です。
Python: SQLiteにデータを格納、検索、出力 – pysqlite
レコードの検索や格納処理性能がオープンソースのDBで間に合う程度の問題であれば、積極的に使っていきたいです。それによって、他のロジックのコーディングに傾注できます。また、DBという共通のプラットフォームは複数言語から扱えますので、データの再利用がしやすいです。 さて、今回はPythonからSQLiteを扱うサンプル(pysqliteの使い方)を書いてみます。 ソースコード # coding: UTF-8 from pysqlite2 import dbapi2 as sqlite # データベースに接続(作成) con = sqlite.connect('test1.db') # テーブルの列要素: 名前、性別(male or female)、年齢 con.execute('CREATE TABLE people (name TEXT, sex TEXT, age INTEGER)') #
LIKE文のキーワードのエスケープ - No Programming, No Life
コードにアンダーバー '_' が含まれるものをLIKEで検索したい場合、LIKE文の中ではアンダーバーはワイルドカード(任意の一文字)として扱われてしまうため、エスケープが必要。 ＞＞ちなみに、LIKE文の説明はここいらが詳しい。 アンダーバーで始まるコードをひっぱり出してくるSQL文におけるWHERE句のLIKE文は、以下のようになる。 SELECT * FROM コードマスタ WHERE コード LIKE '$_%' ESCAPE '$' 上記の例ではエスケープ文字として '$' を指定しているので、 '$_' とすることでアンダーバーとして認識してくれるようになる。 ちなみにこのエスケープ文字は自由らしい。スタンダードはなんなんだろう？ 参考記事 ≫ [SQL] 5. データの参照 6 | TECHSCORE(テックスコア)
O/Rマッピングとは - IT用語辞典
概要 O/Rマッピング（Object/RDB mapping）とは、オブジェクト指向プログラミング言語におけるオブジェクトとリレーショナルデータベース（RDB）の間でデータ形式の相互変換を行うこと。そのための機能やソフトウェアを「O/Rマッパー」（O/R mapper）という。 オブジェクト指向言語では互いに関連するデータ項目を一つのオブジェクトにまとめ、データを操作する手続き（メソッド）と一体的に管理する。一方、リレーショナルデータベース（relational database）では一件のデータを複数の属性の値の組として表現し、組を連ねた表の形でデータを永続的に保存する。 プログラムからRDBへデータを保存するには、オブジェクトを実体化したインスタンスの持つ値をデータベースの表中の項目に当てはめて書き込む操作（読み込みの場合はこれとは逆の操作）を行なうが、通常はデータベース管理システム（
PerlでSQLiteとCSVのどちらを使ったほうが検索が速いかを検証 - Pumpkin Moonshine
目的 PerlでSQLiteとCSVのどちらを使ったほうが検索が速いかを検証する 検証方法 データの最後尾にあるレコードを検索する際の速度を比べる。 DBの検索項目にはIndexを追加した。 結果 1秒間に実行できる回数（回数が多いほど高速） CSVSQLite 100件3333回714回 1,000件333回666回 10,000件33回714回 100,000件3回714回 SQLiteはIndexで検索を行っているので、検索速度がデータ件数に依存しなかった。 CSVの読み込みはデータの件数分順次リードを行っている為、検索速度がデータ件数に依存した。 データが100件の場合は、CSVのほうが速かった。 データが1,000件以上の場合は、SQLiteのほうが速かった。 結論 扱うデータが1,000件以上になってきた場合はSQLite等のDBを使うことを考えたほうが良いかもしれない。 デー
2007-07-24
TurboGearsを使うに当たってO/Rマッパーをつかうから、 SQLのドライバレベルのローレベルなことは知る必要性は全くないのですが、 本当に全く知らないとデバッグで苦労する(はず??)ので、 DBAPIを使ったPythonプログラミングを軽く練習しておきます。 あと、意外にpysqlite に関する記述が少なかったのでまとめてみた。 以下環境 Gentoo Linux 2006.1 ←(ちょっと古い(^^;) Python2.4.3 SQLite 3.3.5 (Python2.5では標準モジュールとしてsqlite3という名前である) pysqlite 2.3.1 以下のテーブルを作って操作してみる。 商品番号 商品 値段 産地 0001 リンゴ 200 青森 0002 みかん 300 愛媛 0003 バナナ 150 フィリピン 0004 メロン 700 北海道 0005 ブドウ 5
オブジェクト関係マッピング - Wikipedia
オブジェクト関係マッピング（英: Object-relational mapping、O/RM、ORM）とは、データベースとオブジェクト指向プログラミング言語の間の非互換なデータを変換するプログラミング技法である。オブジェクト関連マッピングとも呼ぶ。実際には、オブジェクト指向言語から使える「仮想」オブジェクトデータベースを構築する手法である。オブジェクト関係マッピングを行うソフトウェアパッケージは商用のものもフリーなものもあるが、場合によっては独自に開発することもある。 背景[編集] オブジェクト指向プログラミングでは、データ管理タスクは一般に単純なスカラー[要曖昧さ回避]ではない値を持つオブジェクトを操作するよう実装される。例として、1人の人物に0個以上の電話番号と0個以上の住所が対応している住所録での住所検索を考えてみよう。オブジェクト指向的な実装では、「人物オブジェクト」に住所録の内
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
德宏纲构工贸有限公司
SQLite - replace part of a string
はてなブログ | 無料ブログを作成しよう
SQLite - Python