sgykfjsmのブックマーク / 2019年3月27日

sgykfjsm id:sgykfjsm

2019年3月27日のブックマーク (4件)

ローカルポートを食いつぶしていた話 - download_takeshi’s diary
ここのところ、お仕事で管理しているシステムで、夜中に負荷が急上昇する事象が発生しており、夜な夜な対応に追われていました。（このブログ書いている今も、負荷がじわじわ上昇中なんですが・・・）で、いろいろと調査した結果、ようやく糸口がわかってきました。結論から言うと、ローカルポートなどのネットワーク資源を食いつぶしていたようです。以下、調べていってわかったことなどのメモです。トラブルの事象運用しているのは Apache2.2 + mod_perl2 なwebサーバで、リスティング広告システムの配信系です。リスティング広告の配信のシステムって一般的にロジックが複雑でいやーな感じなんですが、このシステムもご他聞に漏れずかなりのひねくれ者で、しかもトラヒックは結構多めです。システム全体で、日に1000万〜2000万クエリくらいかな。幸か不幸か、このご時勢においてもトラヒック的には成長し続
sgykfjsm 2019/03/27
カーネル

システム

mysql

tcp
リンク
どさにっき
2008年4月21日(月) ■ 無題 _ 今朝の電車でおっさんが読んでたスポーツ新聞からちょっと見えてた見出し。頭のおかしい人が新幹線で全裸になってタイーホ。春だなぁ。 _ 出社してからニュースサイトを巡回して、それがファーストサーバの社長だったと知る。あぁ。 _ ち、ちがうよっ、春だから頭のおかしい人が湧いてきたんじゃないよっ。だってレンタルサーバ会社の社長だよ？頭がおかしいなんてことはないよ。最近のデータセンターは電力問題とか熱問題とかいろいろ大変だからね、きっと陽気がよくなってあったかくなったから熱暴走を起こして、その冷却のために大事なところを放熱してただけなんだよっ。 _ てか、ファーストサーバっていつのまにか yahoo の系列になってたのか。昔はクボタ(もちろん農業機械のクボタのことだ)の子会社だったよね、たしか。 2008年4月28日(月) ■ 無題 _ メール屋を廃業し
sgykfjsm 2019/03/27
サーバ

linux

tcp

NAT

ipv4

tcp_tw_recycle

net
リンク
Linux SYNパケット取りこぼし - LowPriority
Linuxで負荷も問題になるほど高くなくlisten及びsynのbacklogも溢れてないのに特定のホストからのみSYNを吸い込んでSYN-ACKを返さない事がある場合があった。必ず吸い込むというわけではなく、一発で通る場合と数回再送受けてから処理するのもあったりして謎な感じ。tcpdumpで見てもパケット単位の不整合は特に見あたらない。受け付けている環境で変更されていたTCPパラメータは以下で、syncookies以外は IN/OUTどの部分の処理に関わるのかDocument読んでも良く解らないので、それぞれについて参照箇所を調べてみた。(PATHはKERNELのnet/以下) net.ipv4.tcp_tw_reuse (sysctl_tcp_tw_reuse) Outbound Connectionだけ影響 ipv4/tcp_ipv4.c:tcp_v4_connect ip
sgykfjsm 2019/03/27
linux

tcp

network

IPv4

ネットワーク
リンク
[unix] Linux SYNパケット取りこぼし (2) 2007-05-21 - LowPriority
前回の続き。パケット自体を零さずに処理に入った後にSYNを落とすのは以下3パターン。 syncookie無効時にsynのbacklog(tcp_max_syn_backlog)が溢れている listenのbacklogが溢れている(3way-handshake完了後のaccept待ち接続) net.ipv4.tcp_tw_recycleの制限に抵触で、今回問題になっていたのは最後のtcp_tw_recycleへの抵触だった。現象として発生しうるのは、以下の条件をすべて満たす場合サーバ側でnet.ipv4.tcp_tw_recycleが有効 TCPタイムスタンプオプションを使用同一IPからの接続でセッションを跨ぐとセットされるTCPタイムスタンプの値が戻る場合がある最後の条件が微妙だが、TCPタイムスタンプの値としてセットされる値は起動時を起算時にしていたりと実装によって初期値
sgykfjsm 2019/03/27
サーバ

linux

tcp

network

ネットワーク
リンク
- 2019年3月28日
- 2019年3月27日
- 2019年3月26日