おうち kubernetes のノード障害事例と復旧作業記録(2024/04/15-2024/04/16)

お久しぶりです。あけおめ投稿から大分期間がたってしまいましたね。今回は割と重たい記事になってしまいました。 何度か我が家では、kubernetes(k8s) を運用していることを紹介しています。このブログ(wordpress) なども含め色々なサービスをk8s上で動かしています。今回は、最近(4/15)、その k8s で障害が発生した時の対処と発生した事象などを紹介しようかと思います。 長いので概要とまとめ 障害の原因と対応 k8s を構成している1つのノードのストレージに障害が発生し適切に動作しなくなっていた k8s の分散ストレージの longhorn にも影響があり一部のPVが読めなくなり、Podの起動ができない状態となった longhornのvolumeのreplica数の調整、atach/detach操作などを実施することでpodが起動するようになり復旧できた まとめ k8s の