HOMENOCで6月に発生した障害のまとめ - TRY AND ERROR

2020年5月～6月にHOMENOCのネットワークで多発した障害について原因の調査が概ね完了しましたので詳細をまとめました。まずは結論から簡潔に書くと以下の3点となります。 1. ユーザからのショートパケットにより拠点間のEtherIP接続をしているIX2105が高負荷状態になってパケットロスが発生した。 2. これによりBGPピアのフラップが発生し経路増によって性能の限界に達していたBGPルータのダウンが連鎖的に発生した。 3. ピアのフラップ及びにBGPルータのダウンにより経路が別のNOC経由に切り替わり、1項の事象が別拠点でも発生、連鎖的に網全体が不安定になった。 問題の背景にBGPフルルートの経路増があります。当団体の設立時の2015年1月頃の経路数はIPv4で52万経路程度、2020年8月には80万経路を超えており、30万近い経路数の増加が見られます。HOMENOCで利用している

[napsucks]

mx80ではそろそろフルルートキツイ。カタログではFIB満たしていてもフラップに耐えられない。C65/76とかも同じ。写真はmx204かな。ciscoだと最近は速度出る安いフルルートルータないもんね。asr99高すぎだしa1kはポート少ない

[sora_h]

お世話になっております…

[do_su_0805]

“自宅ラックな人たちが趣味でやってる団体としては極めて安定した運用をしてきてきたと思っていますが、今回の障害は設立以来の大障害” 丁寧に簡略に原因がまとめられており、参考になりました。