障害に強い Azure の運用を考える (2021 年版) - しばやん雑記
Azure の日本リージョン 7 周年の日に Japan East のストレージ障害が発生するという、なんともアレな出来事がありましたが、障害発生後はアーキテクチャを見直すいい機会だと思うので色々書きます。 まだ RCA は公開されていないですが、おそらくぶちぞう RD がブログに書くのでリンクを貼ります。 4 年前の同じような時期にも Japan East で大規模なストレージ障害が発生したので、同じようなものを書きましたが流石にいろいろと進化しているので古さを感じます。 今回の障害は影響範囲はさほど大きくなかったようで、主に Azure Storage と Virtual Machines がステータスには上がってきていました。実際には Application Insights や Log Analytics にも影響がありましたが、Azure Storage は全ての基本なので仕方な
PagerDutyでアラート管理を改善した話 - Tech Inside Drecom
はじめに こんにちは。インフラストラクチャー部のひらしーです。 今回はPagerDutyを導入し、システムに異常が発生した際のアラート管理を改善した話を紹介します。 アラート管理改善前 解決すべき人へのエスカレーションが必要な問題発生時、以前は以下のような問題がありました。 通知手段がメールのみで、インフラチームのメンバーは全サービスのアラートを受け取って自分でフィルタリング・転送をする必要があり、問題のエスカレーション漏れや監視設定自体の見直しがされずに監視精度のばらつきが発生していた過去のアラート情報が集約できておらず、問題の傾向把握や類似の障害の検索が困難だった PagerDutyについて 上記の問題を解決するため、メール運用のまま手法のみ改善する運用や内製ツールの開発を検討しましたがトライアルでチーム内での評価が高かったためSaaSのアラート管理ツールであるPagerDutyを採用
我々は Kubernetes の何を監視すればいいのか？ / CloudNative Days Kansai 2019
我々は Kubernetes の何を監視すればいいのか？ / CloudNative Days Kansai 2019
Yahoo! JAPAN の マネージド Kubernetes サービスを支える技術 / The Technology Behind Managed Kubernetes Service of Yahoo! JAPAN
ヤフー名古屋 Tech Meetup #2 - https://yahoo-nagoya.connpass.com/event/129398/ 大規模環境でのコンテナの利用において、Kubernetes がデファクトスタンダードになりました。 Yahoo! JAPAN は、2017年10月頃から一部のサービスが本番環境で Kubernetes の利用を開始し、現在では多くのサービスが利用しています。 その結果、Yahoo! JAPAN では数百の Kubernetes クラスタが運用されています。 本セッションでは、Kubernetes の概要から、数百の Kubernetes クラスタの運用を可能にする Yahoo! JAPAN のプライベートマネージド Kubernetes サービスの紹介とそれを支える技術についてお話します。
AWSの運用ベストプラクティス 「運用上の優秀性」についての解釈 | DevelopersIO
Well-Architected Frameworkのチェックシートには質問とチェック項目が記載されています。 運用上の優秀性(Operational Excellence)のチェック項目について、私の解釈を考えたので共有します。 以前行われたWell-Architected Frameworkのオンラインセミナーに関するブログで、チェックシート(Excel, 2018年11月版)が公開されています。 チェックシートにはWell-Architected Frameworkの質問とチェック項目が記載されています。 チェック項目について、どのように考えたらいいのか悩むケースが多いのでは？と感じました。 運用上の優秀性(Operational Excellence)のチェック項目について、私の解釈を考えたので共有します。 W-Aではワークロードという言葉が頻出します。 AWSリソースやプログラム
はてなでのKubernetes利用の取組み - Hatena Developer Blog
こんにちは、入社 3 年目の SRE の id:kizkoh です。 今年から別のチームに異動になったのですが、以前は Mackerel チームで仕事をしていました。 このエントリでご紹介するのは私が以前担当していた Mackerel での Kubernetes(k8s) クラスタ利用の取組みになります。 はじめに 入社してから約 2 年間 Mackerel チームでサービス運用開発の仕事をしていました。直近のトピックでは 2 月に公開された Mackerel コンテナエージェントの開発、検証のお手伝いとして k8s クラスタでの検証や Mackerel のシステムのコンテナ運用として k8s クラスタ基盤の設計構築に取り組んでいました。 昨年 2018 年は国内で Japan Container Days (今年からは CloudNative Days です)が開催され k8s のトピッ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
インターネットの仕組みとISPの構造