最短かつ最速にアクセスする「DB高速化技術」（後編）
＞＞前編 ハッシュ利用で比較を減らす 後編ではまず，オプティマイザが選択する最短経路を紹介する。 複数のテーブルを共通のキーを用いて結合する「ジョイン」はいくつかの方式がある。その一つであるハッシュ・ジョインは，ハッシュ関数を使って，一つのテーブルのキーからハッシュ値を計算する（図4）。さらに，ハッシュ値と該当するデータで構成する「ハッシュ・テーブル」を作成する。同様に二つ目のテーブルからハッシュ値を計算し，その値を基に検索するハッシュ・テーブルのレコードを特定する。ハッシュ値を計算するだけで比較対象のデータが絞り込めるので，ほかのジョイン方式よりも高速になる場合がある。ただし，「各テーブルを展開できるだけのメモリー容量が必要になる。メモリーが足りないと逆に遅くなる」（伊藤忠テクノソリューションズ プラットフォーム技術部 部長代行 宮田武氏）といった注意点がある。 図4●ハッシュ・ジョイン
最短かつ最速にアクセスする「DB高速化技術」（前編）：ITpro
ポイント ・高度なインデックスやジョインを利用し，最短経路でデータにアクセス ・メモリー不足を自律的に解消し，キャッシュのヒット率を高める ・インメモリーDBは全データをメモリーで処理し，高速化を図る 目的地に早く到着したいなら，最短の経路を最速で行けばよい。これはデータベース（DB）でも同様だ（図1）。インデックスなどを使ってデータへの最短経路を見つけ，メモリー・アクセスを増やして，最速でたどり着く。DBにはそんな技術が詰まっている。 図1●データベース高速化技術のポイント ビットマップ・インデックスなどを使い、データにたどり着く最短の道を選ぶ。また、できるだけメモリーにデータをキャッシュさせておくことで、アクセスのスピードを上げる、という二つのポイントがある [画像のクリックで拡大表示] 以下では，（1）データにたどり着く最短の道を選ぶ仕組みと，（2）アクセスのスピードを上げる仕組みの
MOONGIFT: » 凄いテキストデータベース「txtSQL」:オープンソースを毎日紹介
はてなブックマークのコメントより。 昨日お伝えしたGladius DBの対抗馬として紹介したい。こちらもまた、テキストファイルをDBとして扱うことができる。さらにGladius DBへの挑戦なのか、ベンチマークを公開している。 今回紹介するオープンソース・ソフトウェアはtxtSQL、テキストベースのデータベースソフトウェアだ。 txtSQLはGladius DBとは異なり、SQL文を解釈しない。独自の関数にアクション（SELECT/INSERT/UPDATE/DELETE等）、テーブル名、データ、WHERE句などを指定して渡す必要がある。 そのため、既存のアプリケーションを乗り換えるには修正が必要になってしまうのが難点だ。だが、新規開発であれば関係ないだろう。また、その結果として高速性が売りだ。Gladius DBの10倍近いパフォーマンスが出ている。 面白いのは、サンプルアプリケーション
1つのSQL文で複数の表にINSERTする絶品テクニック（1/2） ― ＠IT
本連載はSQLの応用力を身に付けたいエンジニア向けに、さまざまなテクニックを紹介する。SQLの基本構文は平易なものだが、実務で活用するには教科書的な記述を理解するだけでは不十分だ。本連載は、著名なメールマガジン「おら！オラ！ Oracle - どっぷり検証生活」を発行するインサイトテクノロジーのコンサルタントを執筆陣に迎え、SQLのセンス向上に役立つ大技小技を紹介していく。（編集局） FOR...LOOP文を使って、いくつものSQL文でデータをINSERTしているPL/SQLプロシージャやプログラムをよく見掛けますが、実は1度にデータをINSERTする方法もあるんです。マルチテーブル・インサート（Multitable Insert）とはその名のとおり、1つのSQL文で複数の表にINSERTが可能になります。この最大のメリットは、やはりパフォーマンスです。では早速ご紹介します。 マルチテーブ
SQL文をきれいにフォーマットしてくれる『SQL in Form』 | POP*POP
長～いSQL文を見ているとどこがどういう構造になっているのかがわからなくなってきますよね。 そうしたときに使えそうなのが「SQL in Form」です。 一般向けのサービスではないですが、関係ある方には便利なのでは。 以下に簡単にご紹介。 ↑ たとえばこのようなSQL文。コメント分やインデントがわかりにくくなっています。 ↑ SQL in Formを通せばこの通り。構造がすっきりして見やすいですね。 変換する際には改行やインデント、空白の扱いなどの設定をすることもできます。またデスクトップ用のアプリもあるみたいですね。 ご利用は以下からどうぞ。無料で使えます。 » SQL Formatter / SQLFormatter formats SQL Statements
Complete Mirage - DjangoもTurboGearsも複合キー無理
っぽいですね。 Djangoはコメントにもらったこのページに「一つのオブジェクトには一つしか主キーを指定できません」て書いてあります。 SQLObjectも主キーは１つしか対応してません。なのでTurboGearsも無理。 http://ymasuda.jp/python/sqlobject/doc_0.7/SQLObject.html 「SQLObject は複数カラムからなる主キーをサポートしません (この仕様は恐らく今後も変わらないでしょう)」だそうです。 うーん、既存スキーマが自然キー使っちゃってる場合ってまだまだありそうなんですが、そうするとPython系はいきなり選択肢から外さざるを得なくなりますねえ。 この辺は技術じゃなくて、ロビー活動（ていうか要件調整）で既存スキーマに依存しなくてもよいようにするしかないですね。でも既存スキーマをいじらなければいけない状況もあると思うと、R
【特集】MySQLの新ストレージエンジン Falcon徹底リサーチ (1) Falconとは (MYCOMジャーナル)
2007年1月に、MySQL ABは新しいストレージエンジン※である「Falcon」のアルファ版をリリースした。Falconは、現在広く使われているストレージエンジン「InnoDB」に代わる選択肢のひとつとして期待されている。本稿は、このFalconの技術的な特徴について解説する。 ※テーブルの種類のこと。MySQLでは、InnoDBやMyISAMなど、さまざまな種類のテーブルがあり、テーブル単位でどれを使うか選択できる。 Falconの概要 - InnoDBと比較する Falconは、リレーショナルデータベース(RDBMS)界の権威であるJim Starkey氏と、彼の妻であるAnn Harrison氏を中心に開発が進められている。Jim Starkey氏はInterbaseの生みの親であり、またAnn Harrison氏とともにFirebirdのメインコミッタとしても活躍している。彼ら
mysqlのint(11)の11
MySQL Manual | 6.2.1 数値型 MySQL には、INT(4) のように、型の基本キーワードに続いて整数値の表示幅をかっこ内に指定できるオプションがあります。このオプションの表示幅の指定は、カラムに指定された幅より小さい幅を持つ値で表示の左側を埋める目的で使用されますが、そのカラムに格納できる値の範囲が制限されたり、そのカラムに指定された幅を超える幅を持つ値の桁数が制限されたりすることはありません。オプションの拡張属性 ZEROFILL と組み合せて使用した場合、デフォルトのスペースに代わってゼロが埋め込まれます。けっこう勘違いしている人がいそうなのですが、mysqlの型でint(?)とか、?に数字を入れますが、この数字は上記の通りZEROFILLをした際にスペースに代わってゼロが埋め込まれる際の幅なのです。自分は勘違いというかあまりよくわかっていませんでした…。 つまり
今夜分かるSQLインジェクション対策 ― ＠IT
【関連記事】 本内容についてのアップデート記事を公開しています。あわせてご確認ください（編集部） Security&Trustウォッチ（60） 今夜こそわかる安全なSQLの呼び出し方 ～ 高木浩光氏に聞いてみた http://www.atmarkit.co.jp/fsecurity/column/ueno/60.html Webアプリケーションに対する攻撃手法の1つであるSQLインジェクションの存在は、かなり広く知られるようになった。しかし、その対策はまだ本当に理解されていないように思える。フォームから渡された値の特殊文字をエスケープしたり、PHPのmagic_quotes_gpcといった自動エスケープ機能をオンにするだけで対策したつもりになっていないだろうか。 基本はもちろん、セカンドオーダーSQLインジェクションやマルチバイト文字を利用したSQLインジェクションの攻撃パターンや、その対
[ThinkIT] 第3回：データベースのスケールアウト（後半） (1/3)
さてデータを分割すると、特定のサーバで膨大なデータを一手に読み書きする必要はなくなります。 一方、図1に示すように、このままではSQLの処理を行う際には、すべてのデータをいったんSQLの処理をするサーバに送らなければならなくなります。 これは通常、LAN（ローカルエリアネットワーク）を介して行われますが、この時の速度はサーバ内の磁気ディスクのデータ転送速度よりもかなり遅いのが現状で、単純にデータを蓄積しただけでは、かえって効率が低下する場合もあります。 そこで、SQLの処理の内部構造に着目してみます。この内部構造を非常に単純にモデル化したものを図2に示します。 SQLの処理は、SQLの構文を解釈する部分（パーサ）と、この構造を理解して処理手順を決める部分（プランナ）、そして実際に処理を行う部分（エグゼキュータ）に分けられます。 SQLの結果を受け取るデータはわずかでも、何百万何千万のレコー
PDOでサクサクDB開発：CodeZine
はじめに PHP界隈では現在、PHP 4からPHP 5への移行が進んできており、ここ最近ではPHP 5の機能を活用したフレームワークも多く出てくるようになりました。 PHP 5は、PHP 4に比べオブジェクト指向のサポートや速度面での向上などが取り上げられる中、最も注目すべき点であるデータベースへのアクセスを抽象化したレイヤーとしてPDOが登場しました。 今回はそのPDOに注目し、サンプルを交えてPDOの使い方を紹介します。対象読者PHP 5を使ったことがある方以前PEAR::DBなどを用いてデータベースを使ったアプリケーションを作成したことのある方 必要な環境 PDOはPHP 5.1から標準で導入されるようになりました。Windows/UNIXを問わず利用することができます。よってPHP 5.1の環境と、PDOの動作に必要なデータベースの構築を行ってください。PDOとは PDO（PHP
PandoraとLast.fmの違いは? - too high
とっても興味深い記事を見つけたのでリンクを貼ります。 Steve Krause : Blog: Pandora and Last.fm: Nature vs. Nurture in Music Recommenders http://www.stevekrause.org/steve_krause_blog/2006/01/pandora_and_las.html 上の記事はO'Reilly Radar経由で見つけました。 O'Reilly Radar > Pandora vs. Last.fm Steve Krause氏のブログタイトルが示すとおりPandoraとLast.fmの違いは、オススメを生成する方法が、NarureなのかNurtureなのかというところにある。 Pandoraは、その音楽のNature(特質)のデータベースを元にオススメを生成している。つまり、その曲が持つメロデ
インデックスの基礎知識
■ インデックスとは データベースの世界で、インデックス(索引)とはテーブルに格納されているデータを 高速に取り出す為の仕組みを意味します。 インデックスを適切に使用することによってSQL文の応答時間が劇的に改善 される可能性があります。 インデックスにはB-Treeインデックスをはじめ、ビットマップインデックス、 関数インデックスなどの種類がありますが、ここでは最も一般的に使われ、かつ ほとんどのDBMSでサポートされているB-Treeインデックスについて解説します。 ※ CREATE INDEX文でオプションを指定しない場合は通常B-Treeインデックスが 作成されます。 ■ B-Treeインデックスのしくみ B-Tree(Balanced Tree)インデックスは次のようなツリー状の構造になっています。 ツリーの先頭はヘッダブロックと呼ばれています。ヘッダブロックでは、キー値の 範囲
国際日本文化研究センター | 怪異・妖怪伝承データベース
Copyright (c) 2002- International Research Center for Japanese Studies, Kyoto, Japan. All rights reserved.
Oracle Database 10g Express Edition
Multitenant: Get isolation, agility, and economies of scale by managing multiple Pluggable Databases inside your Oracle Multitenant Container Database In-Memory: Support real-time analytics, business intelligence, and reports by keeping your important data in the Oracle Database In-Memory column store Partitioning: Enhance performance, availability, and manageability of your database with data par
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLで木と階層構造のデータを扱う――入れ子集合モデル
MySQL FULLTEXT Ngram : LIKE検索より数十倍高速な、お手軽 日本語全文検索 について｜blog｜たたみラボ
6月のはぶにっき
30分間データモデリング 〜ER図を描こう！〜（1/4） ― ＠IT
http://blog.jolt.jp/2006/03/joltmark_3.html