データベースの内部動作を知る
SQLのプログラミングは奥が深い。特にパフォーマンスの観点から、そう言えるだろう。 みなさんご承知の通り、同じ結果を出すプログラムでも、SQLの書き方次第で処理時間に何倍もの差が生じ得る。効率の悪いSQLを書いてしまう原因は、多くの場合、リレーショナルデータベースの内部動作やアプリケーションに関する理解不足である。両者をよく知った上で最適なSQLを書けるようになることは、システムエンジニアとしての重要なスキルの一つである。 特集『基礎から理解するデータベースのしくみ』では、リレーショナルデータベースの内部動作について、基本的な部分を分かりやすく解説している。SQLプログラミングに役立つことはもちろん、SQLチューニングやデータベース設計のための基礎知識としても不可欠だ。 イントロダクション ブラックボックスのままでいいの？ Part 1：SQL文はどのように実行されるのか SQL実行までの
なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
もう1つの、DBのかたち、分散Key-Valueストアとは
もう1つの、DBのかたち、分散Key-Valueストアとは：分散Key-Valueストアの本命「Bigtable」（1）（1/3 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 クラウド時代のデータベース「分散Key-Valueストア」 グーグルがインターネットの世界をここまで席けんできた最大の理由は何でしょうか。実は、それは同社の優れた検索技術ではありません。グーグルが成し遂げた最も大きなブレークスルーの1つは、同社が生み出した巨大な分散データストア、「Bigtable」にあります。 Bigtableは、Google検索をはじめ、YouTubeやGoogle Map、Google Earth、Google Analytics、Goog
Client Side Databaseについて - 枕を欹てて聴く
あんまり解説なかったのでメモ. iReader作ったときに利用した. 正直今のところSafariしか対応してないから, iPhone/iPod touch専用ページくらいしか使いどころないのですが.HTML5なのでいつかはcross-platformで役に立つことを願いつつ. 仕様 HTML Standard interface Database { void transaction(in SQLTransactionCallback callback, [Optional] in SQLTransactionErrorCallback errorCallback, [Optional] in SQLVoidCallback successCallback); void readTransaction(in SQLTransactionCallback callback, [Optiona
AjaxのバックエンドにPHP＋MySQL（1/3） ― ＠IT
第9回「『オンラインストア』完成へ向けて各ファイルを再構築」までで、「簡易オンラインストア」の処理を一通り完成させましたが、今回はそこにAjax（Asynchronous JavaScript＋XML）を取り入れ、フォーム入力を支援するよう改良を加えます。Ajaxを活用すれば、フォームボタンを押下に加え、キーボード入力やマウスのドラッグといったイベントをトリガーにして、ページ表示の一部だけを再描画することができます。 前回までのシステムでは、郵便番号と住所への入力が互いに連携しておらず、個別に入力する必要がありました。今回はAjaxを用いて、郵便番号テキストボックスに数字が1文字入力されるごとに、入力された数字からデータベースを検索し、該当する住所が表示されるようにします。 なお、Ajaxの基本や詳細については以下を参考にしてください。
メールだけで高度なリスト管理ができてしまう『BusyNoise』 | 100SHIKI
メールだけで高度なリスト管理ができてしまう『BusyNoise』 December 15th, 2008 Posted in その他 Write comment 使い勝手が微妙ではあるが、コンセプトがおもしろいツールなのでご紹介。 BusyLifeはメールだけでリスト管理ができる便利サービスだ。 件名にコマンド、本文にデータを入力し、指定されたアドレスに送付するだけでデータがウェブ上に格納されていく。 使えるコマンドは多岐にわたり、単なるデータ登録だけではなくて、「いまあるデータを全部取得」「この列のデータだけ取得」といったことも可能だ。 ちなみにデータを取得する場合、ウェブにいってください、と指示されるわけではなくて、データがHTMLで添付されてくる。すべてがメールで完結するのだ。 メールでデータベース操作ができるツール、といったほうがわかりやすいかもしれない。データベース操作に慣れてい
Twitterがスケールに苦しむ理由 - スケールするサイトのアーキテクチャ考
Twitterのスケール関係で、面白い記事を発見したのでまとめ。 一時期「スケールしない」とか「動作が不安定」だとか言われ続けていたTwitter。5月ごろにslashdot.jpでも話題になっていた。論調は総じて「Twitterがスケールしないのは、Rubyを使っているから」というもの。 ところが同じ５月、「Why Can't Twitter Scale? Blaine Cook Tries To Explain（なんでTwitterってスケールしないの？）」という、blog紹介記事がSilicon Alley Insiderに掲載される。記事の元になったblogエントリは、Twitterの前チーフアーキテクトだったBlaine Cook氏によるもの。Cook氏によれば、TwitterのスケールとRubyは何の関係もないという。 Why Can't Twitter Scale? Blai
wedata
もとは、androidのN2TTSやVocalizerという読み上げアプリ用に作ったユーザー辞書(読み替え単語集)です。 最近のTTSエンジンは十分に賢いので、このユーザー辞書を使うと、かえって読み上げ精度や抑揚が悪くなるかも。 （例：「青瓦台」は、googleテキスト読み上げでは「セイガダイ」と正しく読めるが、マイクロソフトのHarukaでは「アオガワラダイ」と読んでしまうなど、TTSエンジンによって得意・不得意がある） ベクターのフリー辞書などを転用して、時代小説などに頻出する地名や人名などを登録してみました。 TabSpeechというChromeプラグインでユーザー辞書（読み替え）のデータベースを指定できるので、このデータベースも利用できると思います。 ★ユーザー辞書を充実させるため、単語追加歓迎します。 ただ、隆盛（人名でのタカモリ、普通名詞のリュウセイ）とか意味によって読み方が変
無料で使える「Oracle Database XE」をインストール - builder by ZDNet Japan
1. 無料のOracleデータベース 読者の皆さんはOracleデータベースに無料版が存在することをご存知でしょうか？残念ながら日本オラクルから情報が出てないので、知らない方も多いと思います。 無料版のOracleデータベースとはOracle Database 10g Express Edition（以下「Oracle XE」）で、多少の制限はありますが中身は完全なOracleデータベースです（制限については後述）。 金額的に敷居が高いと感じていた方であっても、無料でOracleデータベースを用意することができます。開発プラットフォームとしてだけでなく、小規模システムであれば運用プラットフォームとしても十分に使えると思います。もちろん、Oracleデータベースの勉強にも有用でしょう。 データベースはデータを管理し、簡単に検索・抽出などをするために利用されます。通常はデータの管理等に利用され
MySQLノウハウ
いろいろな本からメモってきたメモのメモ。出典を書いておくのを忘れた。思い出し次第補完するかも。 deleteのコストは高いので、無効化を示すフィールドを作ってupdateすべき slow query logに要注意 多くのエントリでほとんどのフィールドが同じ値を持つ場合はインデックスの効果が小さい →複合インデックスの効果が大きい 複合インデックスは指定の順番が大切。AとBという指定の場合、A単独でもインデックスの効果がある。逆は真でない。 インデックスが使われる場面は フィールド値を定数と比較するとき (where name = 'hogehoge') フィールド値でJOINするとき (where a.name = b.name) フィールド値の範囲を求めるとき (<,>,between) LIKE句が文字列から始まるとき (where name like 'hoge%') min(),
Kazuho@Cybozu Labs: フレンド・タイムライン処理の原理と実践
« MySQL のクエリ最適化における、もうひとつの検証方法 | メイン | MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話 » 2008年06月09日 フレンド・タイムライン処理の原理と実践 MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話に続きます。 Twitter が注目されるようになって久しい今日この頃ですが、友人の投稿を時系列に並べて表示する、というのは、Twitter に限らず Mixi の「マイミクシィ最新日記」やはてなブックマークの「お気に入り」等、ソーシャルなウェブサービスにおいては一般的な手法です。ですが、この処理 (以下「フレンド・タイムライン」と呼ぶ) は、一見簡単そうに見えて、実装には様々な困難が伴います。本記事では、「フレンド・タイムライン」を実現する、プッシュ型とプル型の二種類の手法について、その原
【コラム】OS X ハッキング! (236) SQLiteが広げるこれからのアプリケーション | パソコン | マイコミジャーナル
Appleの07年度第3四半期決算が発表されました。地域別のMacの出荷台数を見ると、欧米のほうが日本より伸び率が高いんですね。話はガラッと変わりますが、ウチの3歳の娘が、幼稚園で覚えてきたのか事あるごとに「欧米か!」を連発して困ります……。 さて、今回は「SQLite」について。Tiger/Spotlightの登場以降、急速に増えつつあるSQLite内蔵アプリケーションの一端を知ろう、という主旨だ。 SQLiteを使うというトレンド SQLiteは、スタンドアロンのデータベース管理ソフト(DBMS)。名前が示すとおり、PostgreSQLやMySQLなどと同じSQL構文を使うDBMSだが、サーバとしてシステムに常駐することはなく、ライブラリとして他のアプリケーションから呼び出される形での利用が一般的。大規模なDBの管理こそ不向きだが、SQLの命令やトランザクション処理を実行できる。
フツーな日常 - MySQLのTips
http://forge.mysql.com/wiki/Top10SQLPerformanceTipsというのがあったので、和訳してみる。 (11/23 追記)id:pekeqさんとsodaさんのコメントを受け一部更新 (4/27 追記と修正)id:hirose31さんの指摘を受け修正。あと元のサイトが構成変更していたので追従 クエリのパフォーマンスに関するTips(データベースのデザインとインデックスについても) EXPLAINを使ってクエリの実行プロファイルを取れ スロークエリログを使え(常に有効にしておけ！) GROUP BYを使っているか使えるなら、DISTINCTを使うな Insertのパフォーマンス バッチ処理によるINSERTとREPLACE INSERTの代りにLOAD DATAを使う LIMIT m,nは案外速くない 2000件以上のレコードに対してORDER BY RA
徳丸浩の日記 - そろそろSQLエスケープに関して一言いっとくか - SQLのエスケープ再考
補足 この記事は旧徳丸浩の日記からの転載です。元URL、アーカイブ、はてなブックマーク1、はてなブックマーク2。 備忘のため転載いたしますが、この記事は2007年11月26日に公開されたもので、当時の徳丸の考えを示すものを、基本的に内容を変更せずにそのまま転載するものです。 補足終わり 本稿ではSQLインジェクション対策として、SQLのエスケープ処理の方法について検討する。 最近SQLインジェクション攻撃が猛威を振るっていることもあり、SQLインジェクションに対する解説記事が増えてきたようだが、対策方法については十分に書かれていないように感じる。非常に稀なケースの対応が不十分だと言っているのではない。ごく基本的なことが十分書かれていないと思うのだ。 SQLインジェクション対策には二通りある。バインド機構を使うものと、SQLのエスケープによるものだ。このうち、SQLのエスケープについて、十分
今夜分かるSQLインジェクション対策 ― ＠IT
【関連記事】 本内容についてのアップデート記事を公開しています。あわせてご確認ください（編集部） Security&Trustウォッチ（60） 今夜こそわかる安全なSQLの呼び出し方 ～ 高木浩光氏に聞いてみた http://www.atmarkit.co.jp/fsecurity/column/ueno/60.html Webアプリケーションに対する攻撃手法の1つであるSQLインジェクションの存在は、かなり広く知られるようになった。しかし、その対策はまだ本当に理解されていないように思える。フォームから渡された値の特殊文字をエスケープしたり、PHPのmagic_quotes_gpcといった自動エスケープ機能をオンにするだけで対策したつもりになっていないだろうか。 基本はもちろん、セカンドオーダーSQLインジェクションやマルチバイト文字を利用したSQLインジェクションの攻撃パターンや、その対
Twitterもどきを作りながらGoogle App Engineの肝データストアを理解する - builder by ZDNet Japan
サービスを止めない！ サイバーエージェントに聞く高可用性の実現 そこにピュア・ストレージが選ばれた理由 勝つためのクラウド活用術 New Value on Azure ビジネスを次のステージへ！ 新OSのWin11はどう進化したか ビジネス上の役割、開発の要因と Win11が目指した5つのポイントを紹介 RPA見直される”業務”と”人”の関係 人的リソースを単純作業から解放！ 高付加価値業務への転換のために 50年の経験を持つアイネットが提供 ユーザー企業の使いやすさを第一に考えた ワンストップで使えるマネージドクラウド クラウド導入が進まない本当の課題 ITベンダーだからこそ知っている クラウドに二の足を踏む企業のボトルネック 大事なのは”仕事の段取り” 幅広い業務を任されているからこそできる ひとり情シス流の業務改善術 リモートワークを成功させる方法 必須となるセキュリティをどう強化す
フリーで使えるDBのモデリングツールまとめ
森川です。 巷ではエイプリルフールネタがおさかんですが、普通にデータベースのモデリングツールの紹介です（エイプリルフールネタが思いつかない…）。 普段MySQLならDBDesigner4、PostgreSQLならClayを使用しているのですが、他に何かよいツールはないものかと調べてみました。 Clay 言わずと知れた？モデリングツールです。Eclipseのプラグインで、無償でも使用可能です。MySQL、PostgreSQLで使用可能です。 無償版ではER-図や、DB定義書を出力できません。対応するDBが少なかったりもします。 個人的には、PostgreSQLを使用する場合によく使います。外部キー制約などにも対応しているのでそれほど困りません。 リバースエンジニアリングに対応しているのも気に入っている理由の一つです。 ちなみに、リバースエンジニアリングをするにあたってPostgreSQLのJ
Safari 3.1 に実装された「Client-side database storage (SQL API)」とは何か？ - IT戦記
はじめに Safari 3.1 には Client-side database storage （SQL API とも呼ばれています。）という新しい仕様が実装されました。 というわけで、この新しい API について色々調べたことを簡単にまとめておきます。 Client-side database storage が使えるブラウザ 2008 年 03 月 27 日現在では、 Safari 系のブラウザのみです。 Safari 3.1 WebKit Nightly Client-side database storage とは Selectors API とは HTML5 で定義された仕様です。詳細に関してはこちらをどうぞ。 簡単に説明すると JavaScript 内でリレーショナルデータベースを使えるということです。 もっと簡単にイメージするために、実際のコードを示すとこんな感じです。 va
【ハウツー】ゼロからはじめるBento - 手軽でスタイリッシュなパーソナルデータベース (1) Bentoとは? | パソコン | マイコミジャーナル
図1: 「Bento」 「Bento」(図1)は、ファイルメーカーが新たに個人ユーザー向けに開発した、Mac OS X 10.5 Leopard専用データベースソフトです。変わった響きのするこの名称「Bento」は、日本語の「弁当」が由来となっています。 2007年11月13日に米FileMakerのサイトにて英語版Bentoのパブリックプレビュー(無料、ただし使用期間限定)が始まって以来、1月上旬の段階で早くも14万以上の本数がダウンロードされ、試用したユーザーから高い評価を得ています。そしてこの7日に、待望の日本語対応Bentoの発売が開始されました。 そこで本稿では、そのBento(1.0 v2) 日本語版を元に解説を行います。現在、日本語対応の無料評価版がファイルメーカーのWebサイトで配布されており、Bento 無料評価版ダウンロードリクエストページから入手できます。この評価版を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine
