RDBMSに関する典型的な誤解が絶えないという現実
新入社員必読、データベースの基本を理解しよう - データベースはなぜ必要なの？：ITproという記事に対するブクマで次のようなIDコールが来た。（現在はコメント返しへのお礼が入っているので、文字数制限のためオリジナルのコメントは少し切り詰められている。） "リレーショナルデータベースはすべてのデータを2次元の表形式で表現"こういうのもリレーションが2次元構造という誤解の一種なんだろうか。id:nippondanjiさんが書いてたような。 さて、この疑問に対する正解は如何なるものだろうか？ つい先日「7つのデータベース 7つの世界」の書評で書いたばかりだが・・・ 言うまでもなくその通りである。 リレーションが2次元的な構造を持っているというのは典型的な誤解だ。（ちなみにリレーションの次元は属性の数に等しい。n個の属性があるリレーションはn次元。）リレーショナルモデルについてちゃんと学習してい
MySQL のチューニング (ボトルネックの検出) : Figure out!! -ドリコムエンジニアブログ
こんにちは！ onk です。 SAPさんが各社とも「ソーシャルアプリは負荷対策が大事」って言っていますね。弊社でも mixi アプリ(PC)，mixi アプリモバイルをリリースしたときはお祭り状態だったので，ふりかえりも兼ねて MySQL のボトルネックを調べる方法を書いてみました。(幸い，モバゲーオープンゲームのリリース時はこれらの経験が役に立ったので何ともなかったです) といっても 9 割方 そもそもサーバの設定がおかしい 更新が多いテーブルなのに MyISAM エンジン for 文の中でクエリを発行 INDEX 張ってない データ量がえらいことになってる 辺りなんですけどねー。 基本は下から まず，ボトルネックを調べるときは下の層から上がっていくのが基本です。たぶん。 なので ssh でサーバに入って (LoadAverage 300 ぐらいまでならなんとか入れますね) 以下のコマン
mysqldump と repair with keycache - いちいの日記
でかいテーブルをdumpしてimportしなおすときに、alter enable keysで "repair with keycache" に悩まされてたんですが、MySQL Forums見てたらそのものズバリなのを見つけたのでメモ。 http://forums.mysql.com/read.php?35,155467,166902 ご存知の方には当たりまえな感じですが、自分はそもそも repair by sorting と repair with keycache の2通りのメッセージが出し分けられていること自体に気づいてませんでした。 mysqldump mysqldumpをつかってデータベースを(そのままimportに使える)SQL文に吐き出します。 % mysqldump -uuser -ppass -hhost hoge > hoge.sql このときhoge.sqlの中身はこん
MySQLのLOAD DATA INFILEを稀によく使うので、使い方をメモ - kanonji’s diary
よく使うやつ LOAD DATA INFILE '/tmp/foo.csv' INTO TABLE foo FIELDS TERMINATED BY ',' IGNORE 1 LINES; csvを読み込むにはFIELDS TERMINATED BY ','が必要 LOAD DATA INFILEは、タブ区切りがデフォルトになっているらしい。カンマ区切りであるcsvを読み込むにはFIELDS TERMINATED BY ','でカンマ区切りである事を指定します。 1行目にフィールド名を入れてあるので、それを無視する IGNORE 1 LINESを付けることで、先頭1行を無視することが出来ます。インポート用のcsvを作る際、フィールド名がないと分かりにくいし、事後に修正して再利用することを考えると、インポートする時だけ消すのも面倒くさいので。 主キーであるidも必要 インポートするcsvには
MySQL レプリケーションの設定 - とみぞーノート
1.2 レプリケーションの動作レプリケーションでは最初にDBの内容を同期させた後、Masterサーバーで実行された更新系のクエリ(UPDATEとか)をSlaveに渡してSlaveでも同じクエリを実行していくことで、DBを同期させている(図1)。 Master側で実行された更新系クエリはバイナリログに蓄えられており、Slave側が接続してきたら、前回の接続からの変更分をSlave側に送信する。Slave側は受け取ったクエリを一旦リレーログに蓄えて順次クエリを実行してDBを同期させていく。リプリケーション動作にはBinlogDump,I/O,SQLの3つのスレッドが連携して動作する。 2.設定手順 (Master-Slave構成) 2.1 Master側の設定の確認Master側ではバイナリログを採取しておく必要があるので、Master側のmy.cnfにlog-binの設定が入っていることを確
Art of MySQL Replication.
1. Art Of MySQL Replicaton 〜 10 年の歴史を誇るレプリケーションの妙技〜 奥野 幹也 @nippondanji mikiya (dot) okuno (at) gmail (dot) com 2. 免責事項 ● 本プレゼンテーションにおいて示されている見解は、 私自身の見解であって、オラクル・コーポレーション の見解を必ずしも反映したものではありません。ご了 承ください。 3. 自己紹介 ● 今日は個人として来ています。 – http://nippondanji.blogspot.com/ – Twitter: @nippondanji ● 現職は MySQL サポートエンジニア。 – 2000 年にサン・マイクロシステムズ入社 – 2007 年に MySQL KK へ転職 – 気付くとまたサン・マイクロシステムズに・・・ – 現在は日本オラクルに在席。 ●
Spider DeNA Technology Seminar #2
12. テーブルリンク Spider Storage Create table tbl_a ( tbl_a tbl_a col_a int, Engine’s table col_b int, primary key(col_a) DB1 ) engine = Spider Other Storage Connection ‘ 2.Get data tbl_a host “DB1”, Engine’s table table “tbl_a”, user “user”, password “pass” ‘; tbl_a tbl_b Local DB 3.Join 1.Request select tbl_a.col_a, tbl_b.col_c 4.Response from tbl_a, tbl_b where tbl_a.col_a = 1 and tbl_a.col_b = tbl_b
MySQL レプリケーションとブラックホール化 | QK
MySQLレプリケーション。。すっごく簡単なのはわかっているのですが、いざやろうとすると、あれ？どうやるんだっけ？ といつも悩んでしまうので、他サイトにいっぱい掲載されてることを知りつつも、こちらにも証跡として残しておこうと思います。 あと、先日、某BLOGサイトの方が、MySQLエンジンのBLACKHOLE(ブラックホールエンジン）の活用の方法をつぶやいており おぉこれは、いける使い方だ！！なんてものも発見できたので、それもあわせて証跡に残しました。 証跡がすっごく長いのでBACKHOLEエンジンを利用した、レプリケーションの設定だけを見たい方は、ずーーーーっと下のほうまでブラウザをスクロールしてみてください。（ちょこっとしか書いていませんが） <検証環境> 以下の環境で、構築、および実装しました。 マスター os : CentOS release 5.5 (Final) ipaddr:
An Introduction to InnoDB Internals
All of Percona’s open source software products, in one place, to download as much or as little as you need.
MySQL 商用版と無償版（コミュニティ版）ライセンスの違い
mysql mints / jimw またまた、オープンソースカンファレンスで気がついたというか、分かったことです。 MySQLのライセンスについて。 MySQLの説明終了後、質問して教えてもらいました。 MySQLって商用版と無償版あって、今は無償版使っているんだけど、今後商用目的に使うときには、ライセンス料取られるのかなって思っていました。 MySQLの場合、商用版っていうのは、使う側が商用目的とか趣味とかの目的とかいう訳じゃないんですね。 商用版だど、いろいろサポート受けれたり、便利なツールが利用できたりするってこと。 特に、再配布する、しないでちょっとルールがあるけど、ただ単に商用目的のWEBアプリケーションにMySQL使うくらいなら、無償版で全然問題ないんだって。 特に無償版だからって制限がある訳でもないし、同じクオリティなんだよね。 商用版って言葉が誤解をされるような。私みたい
Spider Performance Test(Bench Mark04242009)
The document summarizes the results of a performance test of the Spider Storage Engine used for MySQL database sharding. The test measured the time to perform insert, select, update, and delete operations on tables with increasing numbers of records. Systems using 2 and 4 MySQL servers with Spider (sp2_r2 and sp4_r4) generally had faster performance than a single server configuration (r1), especia
Nifty Cloud環境でMySQL5.5 + Spider2.22をインストールする - クリエーションライン株式会社
MySQL5.5 + Spider 2.22をNifty Cloud環境にインストールしたレポートです。 使用環境はインストールテストということで、miniタイプを選択。miniタイプの構成要素は以下の通り。 CPU: 1vCPU（1GHz相当） メモリ: 512M ディスク: 30GB ちょっとテストしたいときに手軽なサーバー種別です。 OSは以下のものから選択できます。 CentOS 5.3 (32bit/64bit） Red Had Enterprise Linux 5.3 Microsoft Windows Server 2008 R2 ここではCentOS ?64bit plainタイプを選択。 Spiderは、今回はソースコードからビルドしましたが、バイナリモジュールも提供されています。ダウンロードサイトはこちら。 Spiderエンジンを含んだMySQLソースコードmysql-
MySQL Spiderエンジンを使ってみた。〜データベースシャーディング(sharding)とは〜 - 気ままに書いてみました日記
もしかしたら使うかもしれないので調べてみた。 shard 日本語に訳すと(ガラスや貝殻の) 「破片」といったような意味 データベースをshardに分解して複数のサーバに分散して運用するのがDB sharding データベースパーティショニングとも言えるのかしら？ 単一のサーバのDBテーブルを複数のファイルに分割するのをパーティショニングとも呼ぶが、「パーティショニング」という言葉を使ってDB shardingのことを言っているブログ等もちらほら見かけます。 より突っ込んでみたい人は「shared nothing」でぐぐってネ。 なぜデータベースを分散処理するのか 横軸にはサービス運用開始からの時間経過を設定し、縦軸には「DBの応答時間」、「DBへの問い合わせ数」、「DBサイズ」の各数量をとります。サービスが順調に利用されていっているものとし、「DBサイズ」や「DBへの問い合わせ数」は時間経
CentOS6.0にmysql5.5とphpMyAdminをインストール - tumblr
centos5系にmysql5.1をインストールするのが主流だったわけだけども、今やcentos6+mysql5.5がナウなヤングにバカウケらしいのでメモ。httpdとphp5.3入ってる前提で。 リポジトリ追加 まずはリポジトリ追加epelとremiとrpmforge。rpmforgeは今回使ってないけど。 [shimomura@susanoh ~]$ sudo rpm --import http://ftp.riken.jp/Linux/fedora/epel/RPM-GPG-KEY-EPEL [shimomura@susanoh ~]$ sudo rpm -ivh http://ftp.riken.jp/Linux/fedora/epel/5/i386/epel-release-5-4.noarch.rpm [shimomura@susanoh ~]$ sudo rpm --impo
快適スケールアウト生活への第一歩。SPIDERストレージエンジンを使ってみよう！
先月、Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジンというエントリでSPIDERストレージエンジンによるスケールアウトが凄い！という話を書いた。SPIDERストレージエンジンは凄いヤツだが、ノウハウがあまりウェブ上で見つからない。唯一見つかる日本語の記事は、ウノウラボによる「国産MySQLストレージエンジン「Spider」の作者、斯波健徳氏に聞く 」だけである。SPIDERストレージエンジンは斯波氏による単独の作品であるため、斯波氏は開発だけで手いっぱいであり、使い方の紹介記事を書くことまでは手が回らないのであろう。こんな凄いストレージエンジンをドキュメントが足りないせいで使って貰えないなんて勿体ない！！ というわけで、今日はSPIDERストレージエンジンの基本的な使い方について紹介する。少し長いエントリであるが、最後までお付き
マスターInnoDB、スレーブMyISAMが勧められない理由
MySQLにおいて、マスターをInnoDBにして、スレーブをMyISAMにすると幸せになれるという主張をよく聞くことがあります。マスターは耐障害性の高いInnoDBにする一方で、スレーブは耐障害性が低くても大丈夫なので、InnoDBのかわりに高速とされるMyISAMを使えば、可用性と性能の両方をバランス良く実現できる、という考えです。 しかし、多くの場合これで幸せになることはできません。マスターとスレーブでストレージエンジンを合わせた方が無難です。その理由を以下に示します。 ●MyISAMはテーブルロックになる マスターへの更新結果はバイナリログに更新系SQL文として書かれ、スレーブのI/Oスレッドによってリレーログとして同じフォーマットで記録され、スレーブのSQLスレッドによってその更新系SQL文がそのまま実行されます。この更新系SQL文は、当然ながらスレーブに対して発行されるSELEC
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLの冗長化 2013-01-24
http://www.mysqlpracticewiki.com/index.php/My.cnf%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AB
SingleStore | The Real-Time Data Platform for Intelligent Applications
http://www.2ch-search.net/blog/3