mixiがはまったmemcached(or libevent?)の問題を調べる人たち

Neal Sato @nealsato 二日とも複数台のmemcachedが連続して落ちました。コアは吐かずにストンと落ちるので、原因追及に時間がかかりましたが、memcachedへの接続数が異常に多いと落ちる事は再現できました。 #mixi 2010-08-12 02:33:00 Neal Sato @nealsato memcachedが大量の接続を受けると突然停止をするので、memcachedへの接続数を減らし安定運用中。外部からの過剰アクセスではなく、サーバ追加→クライアント数増加→停止。 2010-08-12 08:45:50 Masahiro Nagano / 長野雅広 @kazeburo ファイルディスクリプタが不足してmemcachedが落ちたとして、そのときには、3万強の接続となってるはず。3万強の接続となるにはアプリケーションサーバ側のmax clientが平均60とし

[Serious]

mixiのために、LDRの人、ニコニコの人、はてなの人が参加してる！

[takc923]

こんな風に解決できるようになりたい

[rryu]

接続キューが満杯になった時の接続の再利用処理でlibeventがスレッドセーフとしていない処理をワーカースレッドで行ってしまい変になるということらしい。

[nagaimichiko]

なにこのリアルプロジェクトX。惚れるわ－。

[sajiwo]

400もブクマがあってお盆があぼんに言及が2人だけだと…っ！？

[mitsugi-bb]

mixiがダウンしてた問題を色々な会社の技術者が集まって解決するまでのプロセス！？すごいカッコいい。

[pivotdgdg]

なんかかっこいい

[vid]

かっこいいなぁ。こういう風に解析できる腕が欲しい orz

[girled]

めったなことでは起きないって話はわかったみたいだけど、でも、今回の件でmemcachedも含めKVSを使ったシステムの構築ノウハウに関してまたより安定性のあるツール類が出てきそうで期待したいなあ。

[ghostbass]

id:jujubea 「仕様です」で終了されたり「問題として把握しています。修正予定はありません」ってなるよりはいいと思いません？

[Layzie]

すっごいなあー。

[nitoyon]

mixi の memcached+libevent 問題の原因究明の様子。

[ogijun]

すげー

[cknbstr]

実際にソースレベル検証しちゃうところでstanaka、kzk_mover両氏がリード、libeventのレースコンディションという少なくとも原因の一つにいち早くたどりついたstanaka氏に軍配。はてな軍勝利

[rochefort]

滅多に起きることではない。すでに稼働させている人向けの情報としては想定してる最大接続数に合わせて-c増やすかmemcachedの台数増やしておけば問題起きない。// エンジニアホイホイ

[gikazigo]

Togetter - 「mixiがはまったmemcached(or libevent?)の問題を調べる人たち」

[yoshi1207]

さっぱり分からないけど、なんかすごいことは伝わった。SF読んでる気分。

[hmabu]

> mixiが愛されてるのがわかるなぁ～。プチプロジェクトＸみたいだ。

[sho]

これは面白い&素晴らしい。一昔前なら、パッチになるまでmixiの中から出てこなかったような展開。

[SyncHack]

なにこの親近感ｗ。

[mohri]

よくわかんないけどコンビニで3万円おろしてくるー

[KoshianX]

接続数30kて……。

[shaketoba]

技術者すごい。カコイイ。

[bata64]

mixiサービスダウンの直接原因、memcachedがダウンする現象の解析。libeventはこの前仕事で使った際、負荷を増やしたらダウンしたり挙動がおかしくなったから使用をあきらめたなー。結論楽しみだ。

[atasinti]

.@shn さんの「mixiがはまったmemcached(or libevent?)の問題を調べる人たち」をお気に入りにしました。

[kazuph1986]

かなり特殊な状況だったのか？｜

[hyoshiok]

265

[mkusunok]

会社を超えたコラボいいね。しかし今時のネット企業かなり頑張ってスケールアウトさせてるんだな

[shn]

@HolyGrail mixiの人たちはコミケいけるかなぁ / ３万円で足りるかなあ と思いまして

[orihime-akami]

すげぇ勉強になるなぁ……IT系の仕事についてから、話が腑に落ちるという意味で「理解できるように」なった。

[jujubea]

やっぱオープンソースだとトラブったときのリスクがキツイな。トラブルシューティングや解決責任が全てユーザー企業に来ちゃうし、コミュニティに頼るのも限界がある