mixi大規模障害について 解明編 - mixi engineer blog
こんにちは、システム本部技術部たんぽぽGの森本です。 先日のmixi大規模障害の原因となったmemcachedの不具合の詳細な解明ができました。 再来週まで発表を見合わせようと思ったのですが、早くお伝えしたほうがいいと思いましたので公開発表致します。 memcachedとlibevent memcachedはlibeventというライブラリを使用してクライアントからの要求(接続、コマンド送信)を処理しています。 libeventを使用するにはevent_baseという構造体を用います。 main threadはmain_baseを使用します。 static struct event_base *main_base; ... int main (int argc, char **argv) { ... main_base = event_init(); ... /* enter the ev
mixi大規模障害について - mixi engineer blog
こんにちは。システム本部技術部たんぽぽGの森本です 先日のmixi大規模障害についてのブログです。 はじめにお断りしておきますが、弊社CTOがtwitterで公開した以上の情報はまだ得られておりません。 twitterでは書ききれなかった細部を補足してみたいと思います 現状判明しているのは以下の点です memcachedに大量の接続・切断を行うとmemcachedプロセスが突然終了することがある memcachedには異常時に終了するフローもあるが、同時に出力されるはずのエラーログは出ていなかった coreも出力されていなかった テスト環境にて追試を行ったところ、なんどか再現させることができましたが、確実に発生する条件は未だ不明です。 障害時の memcachedのバージョンは1.4.4, libeventのバージョンは1.3bです memcached の起動オプションは以下のとおり ./
株式会社ミクシィを退職してました - bonar note
6月末で4年半お世話になった株式会社ミクシィを退職しました。1ヶ月くらいひたすら子供と戯れていたのですが、自分の振り返りを兼ねて、あらためてご報告させて頂きます。ミクシィでの業務は本当に色々なものがあったのですが、真ん中の3年間くらいはmixiミュージックの開発とメンテナンスをしていました。最初は開発もひとりで、http://twitter.com/syogokatayama さんと一緒に試行錯誤しながら作っていました。mixiミュージックは比較的複雑なシステムで運用の方にはかなり迷惑をかけてしまいましたが、段階的にDBを分散させていったり、非同期処理を入れて行ったりとサービスの拡大に会わせていろいろな技術的なチャレンジを経験することが出来て本当に勉強になりました。その後ラジオストリーミングサービスや楽曲の都度課金購入等が始まって、チームとしては大きくなりましたが、大変ながらもとても楽しい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
