MySQLでslave追加時にmasterが全力でbinlogを送って困る時 - As a Futurist...
たまにはしょうもない TIPS でも。MySQL の魅力といえば言わずもがな 10 年の歴史を誇る「レプリケーション」の仕組みだと思います。これさえあれば 1 つの筐体で必死にデータ保全しなくてもコピーがいくらでも増やせるし、@nippondanjiさんのスライドにある通り、レプリケーションの妙技を駆使することで様々に柔軟な運用を行うことができます。 Art of MySQL Replication. slave 追加とは？ さてそんなレプリケーションですが、実運用で最も多く行われるオペレーションは「slave の追加」だと思います。追加の方法は大きく分けると 2 通りです。(ストレージエンジンは InnoDB を想定。というか InnoDB 以外認めません＞＜) 論理バックアップを利用 mysqldump 等を利用して論理的にデータの静止断面を作る＆その時の binlog のポジションを
mysqlコマンドをより便利に安全にするための小粒なTIPS集｜サイバーエージェント 公式エンジニアブログ
初めまして。2010年の3月に入社した oinume です。新年1月からウィルス性胃腸炎に罹りながらもなんとかこのエントリーを書いています。今回は、mysqlコマンドに関する自分が今まで学んだ＆教えてもらった細かい実践的なTIPSを紹介します。小粒ですが何かの役に立てば幸いです。 edit (¥e)コマンド mysqlプロンプトにいながら任意のエディタでSQLが編集できちゃいます。具体的には、mysqlコマンドでプロンプト待ちの状態で mysql> edit のように edit または ¥e と入力すると、環境変数EDITORで設定してあるエディタが立ち上がりSQLが編集可能になります。編集が終わったらエディタを終了して ; とやればSQLが実行されます。viなどターミナルで動くエディタに慣れている人は長いSQLを編集する時に重宝する機能でしょう。この技は前職の同僚に教えてもらって、以降便
「MySQL Casual Talks vol.1」に参加してきたよ、のメモ - 元RX-7乗りの適当な日々
あまりカジュアルではなかったｗという説もありますが、結構面白かったです。 1人の発表が10分と、LT(Lightning Talks)風な感じだったこともあり、聴くのに必死だったのですが、少々メモを取ったので貼り付けておきます。(取れたところは少ない...) # 間違っている部分もあるかもしれませんが、そこはご了承を。 # きっと近いうちに皆さんの発表資料が出揃うだろうとは思いますが。出揃ったらリンク付けようｗ ちなみに、余談ですが懇親会も、かなり盛り上がって楽しかったですね！ 個人的には、前から色々お世話になっていた、"刺身☆ブーメラン"の金子さん(id:a666666 / @kyanny)と色々お話できたのは良かったです。 show innodb status (@myfinder) show innodb status from Tatsuro Hisamori 呼び方: いのでーび
「全文検索エンジンgroongaを囲む夕べ #1」参加メモ - sub usuilog;
参加メモ:http://atnd.org/events/9234 全文検索エンジンgroongaについて 発表者: (有)未来検索ブラジル 末永 匡 a.k.a. グニャラくん 全文検索エンジンSenna 2チャンネル検索のために作った Sennaの特徴(1) 高速なインデックス更新 参照ロックフリーなデータ構造を採用 データ更新時に検索を阻害しない 2chの地震速報板をすぐに検索したい 検索の速報性が重要。Twitterなど TwitterはLuceneを使ってしまってへこんでいる Sennaは全文検索「ライブラリ」 転置インデックスをのみを更新 本文、タイトル、作成者といった文書の情報を持たない 文書情報はMySQLにやらせる Tritonn MySQL + Senna Sennaの利用≒Tritonnの利用 SQLを用いて全文検索ができた。全文検索、並び替え、グループ化、これらの組み
MySQL のチューニング (ボトルネックの検出) : Figure out!! -ドリコムエンジニアブログ
こんにちは！ onk です。 SAPさんが各社とも「ソーシャルアプリは負荷対策が大事」って言っていますね。弊社でも mixi アプリ(PC)，mixi アプリモバイルをリリースしたときはお祭り状態だったので，ふりかえりも兼ねて MySQL のボトルネックを調べる方法を書いてみました。(幸い，モバゲーオープンゲームのリリース時はこれらの経験が役に立ったので何ともなかったです) といっても 9 割方 そもそもサーバの設定がおかしい 更新が多いテーブルなのに MyISAM エンジン for 文の中でクエリを発行 INDEX 張ってない データ量がえらいことになってる 辺りなんですけどねー。 基本は下から まず，ボトルネックを調べるときは下の層から上がっていくのが基本です。たぶん。 なので ssh でサーバに入って (LoadAverage 300 ぐらいまでならなんとか入れますね) 以下のコマン
＠IT Special PR：600億PVもMySQLで！ モバゲーのインフラ底力
携帯向けサイト「モバゲータウン」の勢いが止まらない。2010年3月の会員数は約1800万人、月間ページビュー（PV）600億という"モンスターSNS"に成長している。意外なことに、これだけのアクセスをさばくのに、memcachedをはじめとするKVS（Key-Value Store）系のインフラ・ソフトはあまり使っておらず、MySQLで十分だという。モバゲータウンのインフラ担当者に話を聞いた。 モバゲータウンを運営するDeNA（ディー・エヌ・エー）は、もともと1999年に開始したオークションサイト「ビッダーズ」で知られている。その後、オークションに加えてECサイトを開始し、auとの提携により「auショッピングモール」などで急速に成長した。 ビッダーズだけでも、数千万PV規模の大規模サービスだが、最近はモバゲータウンの成長が著しい。 「特に2009年9月から順次リリースした自社製のソーシャル
ソーシャルゲームのためのMySQL入門 | BLOG - DeNA Engineering
こんにちはこんにちは。最近お腹痛いばっかり言ってることで有名なiwanagaです。 DeNAは外部的にはプラットフォーム的な部分の方がフィーチャーされることが多いですが、実はソーシャルゲームの提供も行っています。怪盗ロワイヤルとか、どこかで聞いたことがあるのではないでしょうか。 僕はDeNAでソーシャルゲームが誕生した辺りからずっとサーバサイドを見てきましたが、そんな運用の中で自分が貯めてきた知見とかTIPSをご紹介したいと思います。 かれこれ10タイトル近くはレビューしたり運用したりしてるため結構言いたいことはいっぱいあるので、小出しにしつつ評判よければ次も書きます。 ソーシャルゲームのためのMySQL入門一覧 ソーシャルゲームのためのMySQL入門 - Technology of DeNA ソーシャルゲームのためのMySQL入門2 - Technology of DeNA 「MySQL
非リレーショナルデータベースを選ぶ（私達がMySQLからMongoDBへ移行した理由） | taro-nishinoの日記 | スラド
先日のYuval Kogman氏のエッセイ″Why I don't use CouchDB″の私家版和訳（私は略して私訳と呼んでいます）が私の周辺のCouchDBファンに冷や水を浴びせたようです。どうも誤解もあるようで、Yuval Kogman氏は頭からCouchDBを否定しているのではないのです。氏のような一流のPerler（いや、Perlerでなくても）は野心的である反面、非常に現実的です。ですから、現時点においてはCouchDBがかなりスピード面で劣るのであるから、それを補って余りある野心的な（現にロードマップに載せていますよね）フィーチャーを早く見せなさいと、氏は言っているのです。これは叱咤激励でもあると思います。 私はたまたまMongoDBを選びましたが、夢を持ちたい人はCouchDBを選べばいいし、もっと現実路線の人は他のNoSQLデータベースを選べばいいのです。 そんなことよ
HandlerSocket Plugin for MySQLのPHPクライアントを公開しました
takada-atです。HandlerSocketPlugin for MySQLのPHPクライアントを公開しました。 リポジトリには、OpenPearでアクセスできます。 http://openpear.org/package/Net_HandlerSocket pure PHPで書いてますが、使い方は、今のところperlクライアントに合わせてあります。 HandlerSocketPlugin for MySQLはMySQLを高速なNoSQLストレージとして利用できるようにするMySQLプラグインです。詳しくはgithubのリポジトリなどを参照してみてください。 http://github.com/ahiguti/HandlerSocket-Plugin-for-MySQL
NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現
モバゲーで知られるDeNAは、バックエンドデータベースにNoSQLを使っていません。なぜか？ それはMySQL/InnoDB 5.1の環境で秒間75万クエリという、多くのNoSQLでも実現できないような高性能を実現しているから。DeNAの松信嘉範（まつのぶよしのり）氏は、自身のブログにこんな内容のエントリ「Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server」（英語）をボストしています。 Yoshinori Matsunobu's blog: Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server 松信氏が指摘するように、大規模なネットサービスを提供している企業の多くは分散環境で
DB、クラウド－実例から学ぶmixiアプリ運用ノウハウ
データベースの見直し 前回までの対策でリクエスト数は激減、なんとかルーターが処理しきれるようになりました。次はデータベーススキーマとクエリーの見直しです。WebサービスのボトルネックとなりやすいのがDBサーバーなど、ディスクアクセスが発生するサーバーです。ネギ振りカウンタではMySQLを使用しているのですが、急ごしらえで機能拡張を繰り返していったため、恥ずかしいことにインデックスがうまく効いていないクエリーが含まれていることがわかっていました。 前回でも触れましたが、一見自明な問題に見えても思い込みで対策すると何時まで経っても一番のボトルネックにたどりつかず、対策しても対策しても遅いままという状態になってしまいます。そこで、MySQLにはスロークエリーログという遅いクエリーだけを抽出してくれる機能があるのでそれをみてみました。 →「スロー クエリ ログ（MySQL 5.1 リファレンスマニ
大人のためのInnoDBテーブルとの正しい付き合い方。
InnoDB関連でよくある質問のひとつに「テーブルのメンテナンスは何をすればいいんですか？」というものがある。InnoDBはMySQL 5.5でデフォルトストレージエンジンとなるため、InnoDBのテーブルメンテナンス計画を立ようと思う機会も増えることだろう。そこで、今日はInnoDBのテーブルメンテナンスの各種方法となぜそうしなければいけないかという理由を解説しようと思う。 ANALYZE TABLEテーブルメンテナンスの代名詞といえば、インデックス統計情報の更新ではなかろうか。運用を続けるうちに、知らず知らずインデックス統計情報が狂ってしまい、思うような性能が出ない。RDBMSにはそのような問題がつきものであるが、InnoDBの場合、ANALYZE TABLEは不要である。なぜなら、InnoDBが自発的に統計情報を更新するからだ。InnoDBは以下の条件に適合すると、ANALYZE T
クラウド対応のスケーラブルなMySQLデータベース、米Xeroundが発表
「MySQL for the Cloud」。スケーラブルでつねに稼働し続けるというデータベースサービスを米Xeroundが発表し、プライベートベータとして一部に公開を始めています。 プレスリリースの中で同社はこのこのサービスの特徴を次のように表しています。 Xeround’s unique patented technology brings a new approach to data management in the cloud, aiming at providing the best of both worlds – the transactional and query capabilities of relational databases with the simplicity and scalability of NoSQL data stores. Xeroundのユニ
MySQLのインデックスを学ぶ (1) - 刺身☆ブーメランのはてなダイアリー
実践ハイパフォーマンスMySQL 第2版とLinux-DBシステム構築運用入門を読んで、 MySQL のインデックスについて勉強しなおしている。理解が曖昧だった部分の知識を深められたり、自分の間違いに気づけたりして、とても収穫が多い。 フルテーブルスキャンとフルインデックススキャン Linux-DBシステム構築運用入門 P185 に書いてあるケース。インデックスを利用してても対象レコード数が多いとランダムI/Oが大量に発生して遅くなる。読むべきレコード数が多いのならばフルテーブルスキャンのほうがI/O一回で多くのブロックを読み込めるので速い。 IGNORE INDEX ヒントを与えてパフォーマンスを改善するという例があった。 マルチカラムインデックスと範囲検索 SELECT * FROM users WHERE a = ? AND b >= ? and (c IS NULL OR c >=
MySQLの将来が心配なので、（たぶん）日本一のMySQLエキスパート「日本男児」に聞いてみた
オラクルは、サン・マイクロシステムズを買収後、オープンソースとして提供されていたOpenSolarisを事実上終了し、またオープンソースとしてAndroidを提供しているグーグルに対して「Javaと競合する」という理由で訴訟を起こすなど、オープンソースに対して非協力的と見える行動が続いています。 こうなると、同社が保有するオープンソースデータベースのMySQLの今後は大丈夫なのか懸念されます。すでにMySQLのコアな開発者の何人かは同社を去り、MariaDBやDrizzleといったほかのオープンソースデータベースに取り組んでもいます。今後、MySQLの開発が弱体化したり、方向転換してSolarisのようにクローズドになったりすることはないのでしょうか？ そこでMySQLのエキスパートとしてブログ「漢（オトコ）のコンピュータ道」を執筆するブロガー「@nippondanji」であり、かつ日本オ
Rroongaで楽しく全文検索！！（RubyでXchatをもっと便利にするシリーズその３）
今日も引き続きXChat-Rubyでプラグインを作る話である。そろそろ読者の皆さんも飽きて来た頃だろうかと不安を覚えつつも、「書きたいから書くのだ！」という強い信念をもって本日もつっ走りたいと思う。さて、前回のエントリでは「自動的に挨拶をするボット」を作成した。実際に利用できるプラグインをどのようにして作成できるかをおおよそご理解頂けたかと思う。（まだ見てない人はすぐにチェックすること！） 今日はもう少し実用的な機能として、XChat上のメッセージを全文検索するためのプラグインを紹介しようと思う。 ※いろいろとツッコミを頂いたので追記しました。 Groonga!!まずは肝心の全文検索エンジンであるGroongaをインストールしよう。GroongaはSennaの後継である。Groongaの正式版は、Groongaのホームページから入手できる。Mecabを利用する場合にはMecabを事前にイン
groongaストレージエンジンの近況 - mir the developer
8月下旬にver0.1テストリリースが行われてから1ヶ月弱が経過しました。 まだver0.1であるにもかかわらず、案件への投入を検討して問い合わせを下さった方がいらっしゃったりとか、思った以上に反響をいたいだております。ありがとうございます。 開発の方は相変わらずのんびりとしたペースで進んでおりまして、、、おりまして、、と思っていたらgroonga本体の方はver1.0の安定版がリリースされました！ これはストレージエンジンの方も開発速度を上げていかないといけないなと思っていた矢先、なんと最近DeNAへ転職された松信さんからgroongaストレージエンジン用のinformation_schemaプラグイン導入パッチを寄付いただきましたー! information_schemaプラグインというのはpluggable storage engineなどと同様にMySQL 5.1で追加されたプラグ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソーシャルゲームのためのデータベース設計
【資料あり】ドワンゴ技術勉強会(2) - ドワンゴ 研究開発ブログ
❤️ Best adult photos at mysql-casual.org