memcachedを愚弄する１つの方法 - グニャラくんのグニャグニャ備忘録@はてな

某サービスでセッション情報を保持するために利用している memcached(repcached)に障害が起こった。 ちゃんと追えていないけど、おそらく以下のような原因。他の人がハマらないように。 障害発生まで memcached(repcached)の中には揮発したらそれなりにマズい情報が入っている。 repcachedサーバ２台のOS入れ替えをしていて、１台は再起動が成功した。 １台目のサーバへ２台目のサーバからのレプリケーションが完了したのをstatsのcurr_itemsにて確認した。 よって２台目を再起動するものの、起動しなくなった。 この時点では、１台は生きているから後でデータセンターいこうっと、という気軽な気持ちだった… 現象 生きている１台目のサーバで、以下のような現象が起こった… 値をsetする際に、ある閾値以上のexptimeを指定すると即expireされる。 その閾値は

[tasukuchan]

slewで0.0005sec/sec補正だと、9時間を補正するのに2年間！ そしてサーセン＞id:hirose31

[ratdrum]

『memcachedは起動後にサーバの時間が戻ると、ものっそ怪しい挙動になる。』

[kundari]

> memcachedは起動後にサーバの時間が戻ると、ものっそ怪しい挙動になる。

[se-mi]

参考になる

[koko1000ban]

こえ

[fuktommy]

時間が進むのはともかく、戻ると妙なことが起こりがちだよね。memcachedに限らず。

[koumiya]

memcachedの挙動がおかしくなったら見る。サービスのスピードアップにmemcachedを検討していたのでtimely

[sigwyg]

「memcachedは起動後にサーバの時間が戻ると、ものっそ怪しい挙動になる。」

[kamipo]

/etc/default/rcSでUTC=noとする。もしくは、BIOSで設定する時間をUTCにする。

[morita_non]

再起動したら時計を合わせましょうってことか。

[yokoyamen]

揮発したらまずいデータをmemcachedに置くなよ

[shimooka]

これはあり得そうだ

[yappo]

UTCかぁ

[mrmt]

まぁそりゃそうだろうという感じ

[aki77]

『memcachedは起動後にサーバの時間が戻ると、ものっそ怪しい挙動になる。』

[komagata]

うひょー・・・

[tgk]

「memcachedは起動後にサーバの時間が戻ると、ものっそ怪しい挙動になる」

[kazuhooku]

ntp を (たとえ何時間かかろうとも) 常に slew するよう設定すべし、ってことなのかなぁ