MySQLでslave追加時にmasterが全力でbinlogを送って困る時 - As a Futurist...
たまにはしょうもない TIPS でも。MySQL の魅力といえば言わずもがな 10 年の歴史を誇る「レプリケーション」の仕組みだと思います。これさえあれば 1 つの筐体で必死にデータ保全しなくてもコピーがいくらでも増やせるし、@nippondanjiさんのスライドにある通り、レプリケーションの妙技を駆使することで様々に柔軟な運用を行うことができます。 Art of MySQL Replication. slave 追加とは？ さてそんなレプリケーションですが、実運用で最も多く行われるオペレーションは「slave の追加」だと思います。追加の方法は大きく分けると 2 通りです。(ストレージエンジンは InnoDB を想定。というか InnoDB 以外認めません＞＜) 論理バックアップを利用 mysqldump 等を利用して論理的にデータの静止断面を作る＆その時の binlog のポジションを
MySQL 5.5新機能徹底解説
今年も残すところあとわずかとなった。2010年もIT業界にとっては変化の多い一年だったが、皆さんにとっては良い年だっただろうか？既に何度かMySQL 5.5の新機能については取り上げたが、ついに正式版がリリースされたということでここで改めて新機能を解説し、今年最後のエントリを締めくくろうと思う。 MySQL 5.5にはこれでもかっ！というぐらい新機能が追加されている。しかもいずれもナイスなものばかりだ。一般的には、ソフトウェアに新機能が追加されると重くなったり安定性が低下する事例が後を絶たないのだが、MySQL 5.5に関してはそのようなことは全くないので安心して利用して頂きたい！ InnoDBの大幅な改善種々ある改善点の中でも特に目をひくのがInnoDBストレージエンジンへの改良だ。実は、InnoDBはMySQL 5.1が最初にリリースされたときから、2回アップデートが行われている。My
sinatra-authenticationをPassenger / Sequel / MySQL環境で使う
Sinatraで書いているwebアプリに認証機能が必要になったので「sinatra-authentication」を使ってみたメモ。 概要Rubyでwebアプリを書くのに大人気のSinatra。でもweb開発で必要になる機能ってどんなフレームワークでもあんまり変わらないので、そのうち「認証機能が必要だよね」なんてことになる。 最初はRack::Auth::Basicを使っていたのだが、ユーザの追加 / 変更が面倒だったり、どうも挙動が不安定だったり(一定時間ログインできなくなるという謎の不具合が出たり)したので、他のライブラリを検討してみた。 自分でこんな感じのものを作ろうかなーとも思ったのだが、まずはあるものを使ってみよう、ということで「sinatra-authentication」を導入してみた。 環境CentOS 5.4MySQL 5.1.47apache 2.2.14ruby 1.
ソーシャルゲームのためのデータベース設計
2. 自己紹介 MySQL/Linux周りのスペシャリスト 2006年9月から2010年8月までMySQL本家(MySQL/Sun/Oracle)で APAC/US圏のMySQLコンサルティングに従事 主な著書に「現場で使えるMySQL」「Linux-DBシステム構築/ 運用入門」「Javaデータアクセス実践講座」 DeNAでの主な役割 安定化/パフォーマンス/運用周りの中長期的な改善活動 L3サポート/運用/トラブルシューティング – 難度の高いMySQL周りの問題の根本原因の特定と解決 多くのプロジェクト支援 社内勉強会/トレーニング – MySQLやデータベース周りのベストプラクティスを社内で共有し、 技術スキルを底上げする 技術マーケティング – 国内外のカンファレンスや、技術雑誌等
node.jsとMySQLで割と普通のデータベースウェブアプリを作ってみるチュートリアル | さくらたんどっとびーず
2011年はサーバサイド JavaScript の年！ サーバサイド JavaScript の本命は node.js！ ということで割と普通のウェブアプリケーションを node.js で作るためのチュートリアルを書いてみました。WebSocket とか新しめの話題は結構見ますが、PHP とかで普通のウェブアプリ作ってる人向けのチュートリアルとかあんま見ないような気がしたので、って感じです。 チュートリアルの内容ですが、コード量が少なめで機能的にも分かりやすそうなモノということで、短縮 URL ウェブアプリケーションを作ってみることにしました。bit.ly とか t.co とか nico.ms みたいなアレです。短縮 URL のデータは MySQL に保存します。 結構長文になっちゃったので、先に目次置いときます。 node.js のインストール npm (Node Package Mana
ランキングのつくりかた:Kenn's Clairvoyance
遅ればせながら、あけましておめでとうございます。 先週には、ベイエリアの友人たちがやっているEchofonがPostUpに買収されるなど、幸先のよい新年のスタートとなりました。 さて、最近ホットなマーケットといえばソーシャルゲームですが、ゲームといえばリーダーボード。ハイスコアのランキングで友人や見知らぬ人たちと競うのは、ビデオゲームが誕生した1970年代から欠かせない要素でした。 ところが、インターネット経由で100万人規模のプレイヤーがつながるようになってきた現在、その全体をランキングづけするのは、技術的にも大きなチャレンジとなってきました。 今回は、そのリーダーボードのつくりかたについて、ぼくらの作っているソーシャルゲーム・プラットフォームであるPankiaの運用で得られた知見を共有したいと思います。 自分の順位を知る方法 リーダーボードの基本的な考え方はシンプルで、それはつまり「ユ
Qudoで簡単ジョブキュー処理を実施する - JPerl Advent Calendar 2009
Qudoで簡単ジョブキュー処理を実施する - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな？ 本題 Qudoは既存のジョブキューシステムを使ってみて思ったいくつかの要望を 実現する目的で作成しました。ポイントは拡張性と使いやすさです。 まずは、簡単な例から初めてみましょう。 Advent Calendarということで、クリスマスにプレゼントを願う子供と それを届けるサンタクロースを再現してみたいと思います。 QudoはデータストアにRDBMSを用いています。 そのため、使用する際にはあらかじめDBを作成する必要があります。 現在MySQL,SQLite,PostgreSQL（多分）に対応しています。 各DB用のスキーマファイルは「http://github.com/nekokak/qudo/tree/ma
ソーシャルゲームのためのMySQL入門 | BLOG - DeNA Engineering
こんにちはこんにちは。最近お腹痛いばっかり言ってることで有名なiwanagaです。 DeNAは外部的にはプラットフォーム的な部分の方がフィーチャーされることが多いですが、実はソーシャルゲームの提供も行っています。怪盗ロワイヤルとか、どこかで聞いたことがあるのではないでしょうか。 僕はDeNAでソーシャルゲームが誕生した辺りからずっとサーバサイドを見てきましたが、そんな運用の中で自分が貯めてきた知見とかTIPSをご紹介したいと思います。 かれこれ10タイトル近くはレビューしたり運用したりしてるため結構言いたいことはいっぱいあるので、小出しにしつつ評判よければ次も書きます。 ソーシャルゲームのためのMySQL入門一覧 ソーシャルゲームのためのMySQL入門 - Technology of DeNA ソーシャルゲームのためのMySQL入門2 - Technology of DeNA 「MySQL
mysqlにhandlersocket pluginを入れる - かみぽわーる
ほぼまっさらなUbuntu 10.04 LTSにmysql-5.1.50を入れたので、リリースされたばかりのhandlersocket pluginを入れたときのログ。 付属のMakefileがインストールパス決め打ちだったので、直に/usr/local以下に入れるようにしてます。 あとよくわからなくて苦労したのは、handlersocket_*なサーバ変数がpluginロードしないと設定できないのに、handlersocket_portを指定しないと接続できないので接続方法が分からなかった…。 INSTALL PLUGINしてからhandlersocket用のオプション指定してmysqldリスタートすれば普通に使えました。 cd /usr/local/src git clone http://github.com/ahiguti/HandlerSocket-Plugin-for-MySQ
HandlerSocket plugin for MySQL
1. handlersocket plugin for mysql 2010/06/29 Tech セミナー @ 代々木 株式会社 DeNA システム統括本部 IT 基盤部 樋口 証 <higuchi dot akira at dena dot jp> 2. Who am I? DeNA IT 基盤部 システムのパフォーマンス最適化 障害の分析 ミドルウェア開発 IPA 未踏 スーパークリエータ (2005 年 ) 1993 年ころから GNU/Linux 利用 Fedora: yum install KoboDeluxe Debian: apt-get install kobodeluxe サーバソフトウェアを多数開発
NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現
モバゲーで知られるDeNAは、バックエンドデータベースにNoSQLを使っていません。なぜか？ それはMySQL/InnoDB 5.1の環境で秒間75万クエリという、多くのNoSQLでも実現できないような高性能を実現しているから。DeNAの松信嘉範（まつのぶよしのり）氏は、自身のブログにこんな内容のエントリ「Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server」（英語）をボストしています。 Yoshinori Matsunobu's blog: Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server 松信氏が指摘するように、大規模なネットサービスを提供している企業の多くは分散環境で
MySQL :: MySQL 5.1 リファレンスマニュアル :: 22.2 DECIMAL データ タイプの変更
MySQL の古いバージョン用に書かれたアプリケーションに適合しない可能性のある問題については、このセクション全体で指摘されます。 DECIMAL カラムに対する宣言構文は DECIMAL(M,D) です。MySQL 5.1 における引数値の範囲は次の通りです: M は最大桁数(精度)です。それには1から65までの範囲が含まれています。(古いバージョンの MySQL では、1から254までの範囲が許容されています。) D は少数点（スケール）の右側にある数字の桁数です。それは0から30までの範囲であり、M より広くてはいけません。 M に対する最大値が65である事は、DECIMAL 値に関する計算が65桁まで正確である事を意味します。精度を６５桁とするこの限界は正確値数値リテラルにも適用されるので、このようなリテラルの最大範囲は以前とは異なります。(古いバージョンの MySQL では、１０
Re: @kazuho: handlersocket plugin や mycached を使えば memcached は不要か、それとも使うべきケースがあるか。考察せよ [10点] - blog.nomadscafe.jp
handlersocket plugin や mycached を使えば memcached は不要か、それとも使うべきケースがあるか。考察せよ [10点] kazuho (Kazuho Oku) http://twitter.com/kazuho/status/21477219149 考えて答えてみる。 HandlerSocketやmycachedを利用し、MySQLへの接続数が数万単位で行えるようになったり、より多くのクエリ数が発行できるようになっても、memcachedは不要ではないし、使うべきケースもあります。 memcachedは単なるKVSではなく、ExpiresとLRUがついたキャッシュサーバです。キャッシュオブジェクトには期限を付ける事ができ、期限が過ぎたキャッシュは無効にされ、またアクセスがされていない不要になったオブジェクトは削除され、空いたスペースは新しいキャッシュオ
データベースサーバを複数台構成とか2010年代には流行らない - blog.nomadscafe.jp
奥一穂さんの「ウェブアプリケーションサーバを複数台構成とか2010年代には流行らない」にフォローのような感じで。 例によってタイトルは煽りです。 奥一穂さんのエントリーでは、「5,000万PV/Month」という見積もりでアプリケーションサーバの台数を1台と計算していますが、これからは「1,000万PV/Day」を超えるサイトが多く生まれてくると予想しています。どんなサイトかというと、mixiアプリやモバゲーなどにソーシャルゲームを提供するサイトです。 ソーシャルゲームサイトのキャパシティプランニングについては中澤さんのエントリーが参考になります。 The Art of モバゲー Capacity Planning The Art of Mixi-mobile-appli Capacity Planning 最も人気がでた場合には数千万から数億PV/Dayという数字がならんでいます。怖い怖
node.js用MySQLドライバ·node-mysql MOONGIFT
node-mysqlはJavaScript製のオープンソース・ソフトウェア。 サーバサイドJavaScriptが徐々に現実化してきている。大規模なシステムと言うよりも、小規模なシステムを手早く作る上でクライアントサイドとサーバサイドを統一した言語で作れるのは魅力的だ。 JavaScriptからMySQLに接続する その代表例が最近登場したnode.jsだ。Google製のJavaScriptエンジンであるv8を用いて開発されており、高速なサーバサイドJavaScriptを実現する。そしてWebアプリケーションを開発する上では必須とも言えるデータベース接続を実現するのがnode-mysqlだ。 node-mysqlはその名の通り、JavaScriptによるMySQLドライバだ。Ruby製のMySQLドライバのコードを参考にしている。node-mysqlという名前ではあるが、読み込み部分などを
Ubuntu 10.04 LTS の MySQL で InnoDB Plugin を有効にしようとしたらハマったメモ - Craftworks Tech Blog - Branch
Ubuntu 10.04 LTS の MySQL は 5.1.41 なので、InnoDB Plugin をソースからインストールしなくてもそのまま使えますが、セットアップしていて少しつまづいたのでメモです。 /etc/mysql/my.cnf に ignore-builtin-innodb plugin-load=innodb=ha_innodb_plugin.so;innodb_trx=ha_innodb_plugin.so;innodb_locks=ha_innodb_plugin.so;innodb_lock_waits=ha_innodb_plugin.so;innodb_cmp=ha_innodb_plugin.so;innodb_cmp_reset=ha_innodb_plugin.so;innodb_cmpmem=ha_innodb_plugin.so;innodb_cmpm
InnoDB Pluginことはじめ。快適ストレージエンジン生活はじまる！
MySQL 5.1.38からMySQL本体にInnoDB Pluginバンドルされている。一部の先駆的なユーザー以外に、「InnoDB使ってますよ！」もしくは「検証してるよ！」という話をあまり聞かない。そもそもであるが、InnoDB Pluginってなんぞ？！という人が多いんではないかと思うのだが、実際はどうなのだろう？現在はRC版（リリース候補版）という位置づけのInnoDB Pluginであるが、一部影響度の高いバグが残っていたりしてGA版ほどの安定性は求められないものの、ほとんど実用に耐えうる品質になっているといえる。そんなわけで、今日は改めてInnoDB Pluginの使い方・使いどころについて説明するので、ぜひ皆さんの手でInnoDB Pluginを評価してみて頂きたい。 なお、以下の解説は現在の最新バージョンである、InnoDB Plugin 1.0.6を前提にしているので、将
Unbuntu 9.10 Server に MySQL 5.1 と InnoDB Plugin と Q4M をインストール。 - One By One - norizo333's Blog -
MySQLはソースからではなく、aptitudeでdpkg版を入れて、それにInnoDB PluginとQ4Mをインストールする。 MySQLインストール $ sudo aptitude install mysql-server libmysqlclient16-dev 途中でrootパスワードの設定を求められので、入力すると完了。 Ubuntu 9.10 からはMySQL 5.1が標準でインストールされる。リリースノート和訳 libmysqlclient16-devもMySQL関連の諸々をインストールしたりする際に必要なので、インストールしといた方が俄然良い。 インストールされたバージョンは5.1.37。 $ dpkg -l | grep mysql ii libdbd-mysql-perl 4.011-1ubuntu1 A Perl5 database interface to the
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://agilecatcloud.com/2010/03/14/digg-%E3%81%8C-cassandra-%E3%82%92%E6%8E%A1%E7%94%A8%E3%81%99%E3%82%8B%E7%90%86%E7%94%B1-by-john-quinn/
[ヅラド] MySQL のスロークエリログ設定