『アメーバピグにおけるDB構成&対応記』

2ヶ月前にインフルエンザとウィルス性胃腸炎でひどくダメージを受けた増田(@masudaK)です。アメーバピグは2009年2月に始まったサービスで、FLASH・Javaで作られています。そして、データストアにMySQLを用いてます。本記事では、わたくしが2年ほど見続けているアメーバピグのDB環境について構成や、日々どのようにして問題と向き合っているかを紹介したいと思います。インフラ寄りの内容が多いため、アプリ寄りの話は弊社生沼の資料を御覧ください。 1. 構成と規模 1.1. 構成 まず構成ですが、読み書きはすべてマスターへ行うようにしています。そのため、スレーブには参照を向けず、ホットスタンバイとして使っています。バージョンに関しては2012年中旬までは5.0を使ってましたが、DC移転にあわせて5.5にあげました。ロック機能を用いたシャード構成をしてまして、2014年3月現在6シャードにな

[E231-231]

何か凄そうですね！

[kazeburo]

pt-online-schema-changeで新しくテーブル作って入れ替えることでibdが膨らむのを抑えてるってことか

[watarun7]

エンジニアって大変なんだな〜

[airj12]

6台で参照3万,更新7千/秒のIOをあっさり捌くとかioDrive Duoぱねえ / percona-toolkitいいなあ

[yosuke_furukawa]

おもしろいなー。

[kasumani]

アメーバピグにおけるDB構成&対応記 2ヶ月前にインフルエンザとウィルス性胃腸炎でひどくダメージを受けた増田(@masudaK)です。アメーバピグは2009年2月に始まったサービスで、FLASH・Javaで作られています。そして、データ

[tmatsuu]

良い。容量削減待ったなし。グラフを見ていて興味深かったのは時間帯によるトラフィックの増減があまりなかったこと。ピグは24時間まんべんなくユーザがいるんだろうか。それともユーザ起因のトラフィックは少ない？

[teppeis]

ioDriveだからIOよりCPUバウンドとか、世界が違う感じ。/ tcpdumpとpt-query-digestによるクエリ調査、pt-online-schema-changeによるデフラグでディスクサイズ削減

[kimutansk]

ioDriveだから6台×2ですんでいるわけでしょうけど・・・にしてもioDriveで6台必要になるという規模もすごいですね

[mainyaa]

あとでコマンド試してみよう

[y-teraoka]

本番機での tcpdump は -w で書き出した方が良さそうな気がしなくもない

[YuichiTanaka]

おー、pt-online-schema-changeでmysqlのデータをデフラグしてるのか！なるほど。

[tksmd]

pt-query-digest

[j_k54]

tcpdumpからのアプローチおよびデフラグ。ioDriveでないと捌けなさそう

[wtatsuru]

online-schema-change で容量削減.. 大変そう

[indication]

はてなのわましものなのかと一瞬考えてしまった。たった6台、されど6台、1台あたりがモンスターっぽい。5.5でMyISAM系なのかな。これがinnodb系だったらワクワクする。

[tboffice]

「ちっちゃくないよ！！」「ちっちゃくなったね〜」ナデナデ

[USuck]

イメージに反してすごく手堅い実装というか、古い雰囲気の実装なんだなぁ。

[abe_hn]

pt-online-schema-changeでオンラインデフラグ

[ya--mada]

PCで読む

[gnufrfr]

ioさえクリアできればmysqlで十分の巻

[rx7]

うーん、まぁ

[love0hate]

マスターだけとかマジか

[sechiro]

きれいなますだっく先生だった。

[dann]

pt-online-schama-change

[sh2]

DBCPのtimeBetweenEvictionRunsMillisでフェイルオーバーを素早く検知する。100GBytesを超えるテーブルをpt-online-schema-changeで再編成している、再編成時のI/Oはかなり出ているがioDriveなので耐えられる

[kei2100]

ますだっQL!

[matsukaz]

ますだっく！

[sisya]

DBとか関係ないが、初期のピグはフロントエンドが結構隙の多いつくりで、タブキーで画面のどこにでもカーソルが合ってしまいすき放題できてしまっていたため、無茶苦茶してたら早急に対応されてしまった思い出。

[f-miyaji]

地道で好感が持てる

[ngyuki]

percona-toolkit とか