ずいぶん時間があいてしまったけど、大規模コンシューマ向けサービスRDB設計の続き。 僕はこのプロジェクトを自分のRDBの知識を使って革新してやろうと思って臨んだ。 しかし結果として逆に、コンシューマ向けサービスに最適化されたRDBの使い方について教わることになった。 ※ あと、KVSでいいじゃんって言ってる人もいるけど、それはKVS導入の苦労を知らない人だと思う。KVSの苦労は後で書く。 僕らが最近手がけているのは、とても大規模なコンシューマ向けサービスだ。 100万人の契約ユーザが使い、1テーブルに1億レコード以上のデータを貯め、24時間止めることが許されず、 要求から応答までのターンアラウンドタイムが1秒以内という厳しいSLAのサービスである。 中でも僕はDBやフレームワークの設計とアーキテクトっぽいことを担当している。 僕がこの現場に来て、驚愕した文化が2つある それは「Join禁止

DB設計の神ツール「ERMaster」なら、ここまでできる：ユカイ、ツーカイ、カイハツ環境！（11）（1/3 ページ） 無料のEclipseプラグイン「ERMaster」とは データベースのテーブル設計を行うときに皆さんは、どのようにしているでしょうか？ いくつかの無料で利用できるツールが提供されているので、筆者はそれらを利用していましたが、最近「ERMaster」と呼ばれるEclipseプラグインの存在を知りました。 ERMasterは、ほかのツールに比べ、直感的で分かりやすいUI（ユーザーインターフェイス）に、カスタマイズ可能な、Excelで出力できるテーブル定義書、辞書機能など痒いところに手が届くERモデリングのツールです。本稿では、このERMasterについてご紹介します。 ERMasterの主な特徴、8つ ERMasterには、主に次のような特徴があります。 【1】直感的で使いや

梅雨。部屋干しした洗濯物による異臭騒ぎに苦しむmikioです。今回は、Tokyo Cabinetのテーブルデータベースで超お手軽に全文検索をする方法について説明します。 使い方 テーブルデータベースについてまずおさらいしておきましょう。PerlやRubyのハッシュのようにコラム名とその値を関連づけた構造を、主キーを識別子として保存するデータベースです。例えばRubyからデータを保存するに以下のように行います。データベースであることをほとんど意識させないというのが素敵ポイントです。APIはCでもPerlでもRubyでもほとんど同じなので、言語にかかわらず同じようにレコードを操作できます。 require 'tokyocabinet' include TokyoCabinet # データベースを開く tdb = TDB::new tdb.open("casket", TDB::OWRITER

はじめに 本連載では、PHPまたはプログラミング初心者の方を対象に、PHPを用いたWebアプリケーションの作成方法を説明していきます。今回は、データベースとSQLに関して、「おすすめレストラン一覧を閲覧できるWebサイトを制作する場合」を例にして、説明をしていきます。 対象読者 プログラミングが初めてでこれから学習する予定の方 プログラミングの経験はあるがPHPを初めて学習する方 この記事の内容 はじめに 対象読者 動作確認環境 データベースとは何か･･･データベースはどんな役割？ データベース操作の基礎･･･データベース言語「SQL」とは SQL基礎：テーブルの作成･･･CREATE文を使ってみましょう SQL基礎：レコード追加･･･INSERT文を使ってみましょう SQL基礎：レコード検索･･･SELECT文を使ってみましょう SQL基礎：レコード更新･･･UPDATE文を使ってみまし

ドットインストール代表のライフハックブログ

小〜中規模のWeb開発でMySQLが使われる機会は多い。常に監視するのは大変だろうが、それでも現状どのようになっているのかモニタリングしておくのは大事だ。だが、ターミナルで接続してインストールするソフトウェアは環境によって利用できないこともある。 複数のサーバを見ることが可能 そこで、ブラウザベースで監視できるソフトウェアを紹介しよう。これならばどのような環境でもすぐに利用できる。 今回紹介するオープンソース・ソフトウェアはMySQL Server Monitor、MySQLモニタリングソフトウェアだ。 MySQL Server Monitorは複数のMySQLサーバを同時に監視できるソフトウェアで、画面上部のタブを使って切り替えることができる。サーバのトラフィック、クエリー数、クエリーキャッシュについて知ることができる。 取得できるデータの一覧 PHPベースで作られているので、レンタルサ

サーバのチューニングをする上でかなりやっかいなのがデータベース系。特にログファイルの量が膨大になると後から中身を見て問題を分析するのも一苦労という場合が。そんなときにこのMySQL用topコマンド「mytop」を使えば一体何が起きているのかがすぐにわかるので問題点の把握が容易になります。ベンチマークするときに併用すればかなり効率が良くなるのではないかと。 インストールと使い方は以下の通り。 まずは「mytop」から。以下が公式サイト。 mytop - a top clone for MySQL http://jeremy.zawodny.com/mysql/mytop/ マニュアルは以下にあります。 mytop - display MySQL server performance info like `top' インストールするにはSSHなどを使ってrootでログイン後、wgetでファイル

MySQLといえば、mixiや楽天、Amazonなどなどの企業がネットサービスを提供するために使っているオープンソースのデータベースですが、それが買収されたとのこと。何の冗談かと思ったら本当のようです。10億ドルというと、日本円で約1096億円。買収したのはJavaで有名なサン・マイクロシステムズ。 詳細は以下から。 Sun to Acquire MySQL for $1 Billion - washingtonpost.com 既にSunやMySQLのブログでも報告されています。 Sun to aquire MYSQL : Solar Flare Jonathan Schwartz's Blog: Helping Dolphins Fly Sun acquires MySQL これによって、よりエンタープライズ分野におけるMySQLのシェアを上昇させるつもりらしい。また、これまでは商用デ

こんにちは、櫛井です。 今回は、サイト運営を行う上で知っておきたいサーバの種類やその役割、DBサーバについてお送りします。記事タイトルに“超基礎入門”とあるように、あまり難しい言葉を使わずに書いてみます。 サーバの種類と役割 ユーザーが画像やテキストなどを投稿できる CGMコンテンツの場合、情報を表示するだけの一般的なウェブサイトとは違ったサーバ構成を行う必要があります。データの置き場所を分散させ、役割を決めたサーバを適切に配置することで、負荷分散や万が一の障害対応時の問題切り分けなどにも有効といった特徴があります。 では、具体的にどのようなサーバがあるか、それぞれどのような役割をしているか、代表的な例を紹介してみます。 ※かっこ内は社内での通称 アプリケーションサーバ(app) プログラムが走る。ここで表示するコンテンツを作ってたりする。 ウェブサーバ(www) リバースプロキシとして稼

データベースと言ってもピンからキリまでありますが、世界にはかなり大きいデータベースがあるようです。ちなみに、ギガバイト（GB）の次はテラバイト（TB＝1000GB）、その次はペタバイト（PT＝1000TB）です。 詳細は、以下から。10位.アメリカ議会図書館（Library of Congress） 蔵書数、予算額、職員数全ての点で世界最大規模を誇る図書館です。 ・所蔵品：1億3千万点（本、写真、地図、その他） ・蔵書数：2900万冊 ・棚の総距離：530マイル（約852キロメートル） ・デジタルドキュメント：500万冊 ・テキストデータ：20テラバイト ・一日に1万の新しいアイテムが追加される 9位.アメリカ中央情報局（CIA：Central Intelligence Agency） ・250カ国以上の総合的なな統計データ ・分類された情報 8位.Amazon ・アクティブユーザー数：5

ポイント ・高度なインデックスやジョインを利用し，最短経路でデータにアクセス ・メモリー不足を自律的に解消し，キャッシュのヒット率を高める ・インメモリーDBは全データをメモリーで処理し，高速化を図る 目的地に早く到着したいなら，最短の経路を最速で行けばよい。これはデータベース（DB）でも同様だ（図1）。インデックスなどを使ってデータへの最短経路を見つけ，メモリー・アクセスを増やして，最速でたどり着く。DBにはそんな技術が詰まっている。 図1●データベース高速化技術のポイント ビットマップ・インデックスなどを使い、データにたどり着く最短の道を選ぶ。また、できるだけメモリーにデータをキャッシュさせておくことで、アクセスのスピードを上げる、という二つのポイントがある [画像のクリックで拡大表示] 以下では，（1）データにたどり着く最短の道を選ぶ仕組みと，（2）アクセスのスピードを上げる仕組みの

・Excelとの比較でデータベースの構造を学ぶ ・データとリレーションシップの考え方/見方 ・システムを検討するときはExcelでイメージすること 企画/開発の段階の会議でも――特に技術者が出席すれば――データベースに関する用語がポンポンと飛び交います。その発言や提出資料の意味がまったく理解できないまま生返事で会議を進めてしまうと，あとからいろいろと不都合がでてくることがあります。一番大切なのは，わかったフリはせず，その場で質問して疑問点はすべて解消するという姿勢なんですが，「こんなことも知らないのか」と思われたくないというのは誰にでもある感情ですね。そこで今回は“会議レベルでわかっていたい”データベースの構造を理解しましょう。 Excelとの比較で学ぶデータベース構造 データベースの構造を理解していただくために，今回はMicrosoft Excelを使います。Microsoft Acce