インシデント指揮官トレーニングの手引き | Yakst
[SRE]原文 An Incident Command Training Handbook – Dan Slimmon (English) 原文著者 Dan Slimmon 原文公開日 2019-06-24 翻訳依頼者 翻訳者 meiq 翻訳レビュアー doublemarket 原著者への翻訳報告 1723日前 Twitterで報告済み 編集 私が Hashicorp で担った最初の仕事のひとつは、社内向けのインシデント指揮官のトレーニング資料を作ることでした。 これは私自身がインシデントへの対処にあたりながら何年ものあいだ肌身に感じてきた、あらゆる類の考えをまとめ上げる良い機会となり、最高に面白いタスクでした。 以下は私の書いたトレーニング資料、ほぼそのままです。 あなたがインシデントレスポンスのポリシーを定義するにせよ、即興でインシデントレスポンスを行うにせよ、お役に立てたら幸いです。
『入門 監視』社内読書会を開催しました - 弥生開発者ブログ
2019年1月〜5月上旬の間、『入門 監視』という本の社内読書会を週一で開催しました。 www.oreilly.co.jp 今回は、社内読書会開催に至ったきっかけや実際の進め方、社内読書会を通じての学びやその後のアクションについてお話したいと思います。 社内読書会をはじめたきっかけ この本が予約開始になった時に、目次を読んで内容に興味を持ったことと、社内でも展開できれば今以上に開発チームとして監視についての十分な知識や体制が作れるかも、と思ったのがきっかけです。 任意参加にして、毎週金曜の18時から一時間程度で読書会をやりましょうと社内で参加者を募り、本が発売したその週から社内読書会を開催しました。 社内で入門監視読書会始めた— MiZU (@mizukmb) 2019年1月18日 社内読書会の進め方 ざっくり、以下の流れで進めました。 本を黙読する (35分くらい) 毎回、1章ずつ読み進
xinetd を使ってホストの状態を監視する - CUBE SUGAR CONTAINER
xinetd はスーパーサーバと呼ばれるプログラムで、あるポートに対してアクセスがあった際に設定ファイルを元にして特定のサービスを起動することができる。 以前はプログラムを常駐させないことでメモリの節約などに使うことが主な用途だったようだが、メモリを潤沢に使える今となってはその目的で使われることは減ってきたはず。 最近ではその用途に替わって、あるポートに対して簡易的なサービスを提供できることから監視を目的として使われることが増えてきたようだ。 まずは軽く触ってみる 本題に入る前に xinetd 自体がどういったものなのか見ていくことにする。 環境には CentOS7 を使った。 $ cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) $ uname -r 3.10.0-229.el7.x86_64 まずは xinetd
「ITインフラ監視実践入門」～門外不出・秘伝のタレだった監視運用ノウハウがオープンになるとき～ - Mana Blog Next
技術評論社様より、献本をいただきました。 斎藤 祐一郎 著の「ITインフラ監視実践入門」です。 ソフトウェアエンジニアのための ITインフラ監視[実践]入門 (Software Design plus) 作者: 斎藤祐一郎出版社/メーカー: 技術評論社発売日: 2016/01/16メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る早速読了いたしましたので、主観的な感想を本エントリーに残したいと思います。 以下、興味のある人だけ続きを読んで下さい。 スポンサーリンク これまで、あるようで無かった監視の本 これまで、ZabbixやNagiosなどの統合監視の解説書や、サーバー運用に関する書籍は見掛けましたが、私の知る限りでは「ITインフラ監視」をテーマにした解説書は、見たことがありません。 何故、これまで監視の本が出なかったのでしょうか。 その監視ノウハウが社外に出ること
監視アーキテクチャ(Sensu,Pingdom,Mackerel,StatusPage.io,PagerDuty)についてまとめてみる(2014年12月版) - Glide Note
Sensu Advent Calendarに便乗して、Kaizen Platform, Inc.の2014年12月現在の監視アーキテクチャの話をちょっとしてみようと思う。 モニタリング領域 サービスを監視している領域 Pingdom Pingdom - Website Monitoring 外部ネットワークからのサービスの死活監視。アメリカ、ヨーロッパ、アジアなどの拠点からサービスの死活監視が出来るため、特定の地域からアクセス出来ない場合なのが検知出来る。 後述するstatuspage.ioとの連携で、障害を検知すると、サービスのステータス状況が自動で変わるようになっている Sensu Sensu | The open source monitoring framework. 監視フレームワーク サーバを内部ネットワークから監視するために利用 サーバのプロセス監視、サーバ間の疎通監視、エラ
Sensuを使ってクラウド環境の監視を効率よく行おう - UNIX的なアレ
AWSなど様々な環境でサーバを管理してくると、すべて同一の監視ツールを使うのがなかなか難しくなってきます。そんなこともあり、私も定期的にいろいろな監視ツールを試しています。 http://nanapi.co.jp/blog/2013/09/11/monitor_nanapi_servers/ nagiosとクラウドの相性が悪い！ 監視するには様々なツールがありますが、その中でも特に有名なツールはnagiosでしょう。古くから使われているツールで、プラグインも数多くあり様々な監視を行うことができます。 クライアント側にnrpeをインストールすることで、各ホストの詳細の状態まで監視することができますし、うまく活用すればかなり細かい監視までできます。 しかし、AWSのようなクラウド環境で使うには非常に使いづらいです。というのも、nagiosはサーバ側にどのホストを監視するのかという情報を持たなけ
Sensuを使って自由度の高い監視システムの構築を行う方法
SensuとはSensuはhttp://sensuapp.org/で公開されているオープンソース(MITライセンス)のモニタリングフレームワークです。 特徴以下のような特徴があります（公式サイトの記述を整理） シンプルで融通が効き拡張性があるモニタリングフレームワークエージェント、メッセージバス、イベントプロセッサーの機能を提供要件にあわせて他のツールとの組み合わせが可能クラウドを意識して開発自動でクライアント(監視対象）を登録コミュニティが活発RubyのEventMachineを使って作られているコードはGitHubでホストされ、テストコードは高いカバレージ。TravisCIで継続的インテグレーションを実施Nagiosのプラグインを再利用可能設定はすべてJSONファイルで行うRabbitMQを使ったメッセージ型のアーキテクチャーオムニバスインストーラーを提供個人的な見解としては、Sens
監視ソフトをNagiosからSensuに切り替えて2ヶ月経ったのでまとめた - Glide Note
新規サービス用の監視をNagiosからsensuに切り替えて2ヶ月経ったので、 導入時の調査で社内で公開してたissueと、投入して2ヶ月間運用した記録を公開しておこうと思う。 というか以前Sensuの事を書くと公言していたのに、すっかりサボっていて 昨日@ma0eさんのブログを見て下記のやり取りを思い出して急いで書いた… @ma0e We started using it. @glidenote will report the detail soon, I think. — kentaro (@kentaro) 2013, 10月 30 @kentaro @glidenote that would be nice — Mitsutoshi Aoe/maoe (@ma0e) 2013, 10月 30 導入環境はCentOS 6.4で、利用しているsensuのバージョンは0.12.1-1にな
Python（というわりには少なめな）で土日を使ってサービスを作るための中途半端なモダン環境構築メモ
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
fluent-plugin-dstatの紹介
ウィークリーFluentdユースケースに参加して、fluent-plugin-dstatの紹介記事を書きたいと思います。 dstatはnetstatやiostatなどをまとめたようなツールで、こんな感じで同じタイムフレームでのマシンのリソース情報がとれます。 どんなオプションがあるかについては公式を見てください。 yumとかで入れると古いバージョンが入ったりしますが、最新版は7.2で、使えるプラグインが増えてたりします。 主に top-xxx-adv 系が増えています。 どういうものかというと、例えば古いバージョンでもある top-cpu はこのようにCPU利用率の高いプロセスを表示してくれますが、 top-cpu-advだとさらに細かい情報がとれるのと、ちゃんとプロセス名、利用率など項目がわかれているので、fluentのプラグインとしてjsonの形式にしやすいのです。 dst
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
GrowthForecast - Lightning fast Graphing / Visualization
GrowthForecast is a web tool that let's you graph all sorts of metrics via a WebAPI. Our simple API let's you create and update charts in real time, customize your charts through a Web interface, and create charts that combine multiple metrics. You can graph your MySQL data with 1 line of code $ crontab -l */5 * * * * curl -F number=`mysql -BN -e 'select count(*) from member' game` http://example.
Nagiosで監視したいサーバの設定ファイルを自動生成してみる - よかろうもん！
Puppetのバージョン 0.24.xよりNagiosの設定ファイルを自動生成できるような機能が実装されました(確かそうだったはず)。 ググってもあまりヒットしなかったので、ちょっと試しにこの機能を利用してみました。 今回は以下のような構成で試してみました。 puppetサーバ ： puppet.example.jp (Ubuntu 8.10) puppetクライアント ： fedora.example.jp (Fedora Core 10) それでは早速試してみます。 puppetサーバのsite.ppに以下のコードを追記します。 node 'fedora.example.jp' { nagios_host { 'fedora.example.jp': host_name => 'fedora.example.jp', alias => 'fedora', address => '
ログアウトしてもバックグラウンド ジョブを継続する方法
はじめに SSH 接続で時間の掛かるシェルスクリプトをバックグラウンドで走らせて帰りたいのに、SSH 接続を切るとジョブが死んでしまいます。SSH 接続に限らず目の前の OS からログアウトしたりターミナル エミュレータを終了しても同じ現象が起こります。 この症状は正常です。なぜなら、バックグラウンド ジョブを起動したプロセス(ログイン シェル)が子プロセスである該当のバックグラウンドジョブをハングアップ シグナル( HUP )によって終了させるからです。 シェルスクリプトを起動した親プロセスは子プロセスの終了状態を監視しています。ですからログアウトして親プロセスであるシェルが終了すると子プロセスはゾンビ プロセスとなってしまうので親プロセスとなるシェル(ログインシェル)は子プロセスであるバックグラウンド ジョブを kill ( kill -HUP ) するのです。 nohup コマンド
Monitで自作デーモンを監視する方法｜TechRacho by BPS株式会社
今日はプロセス監視ツールMonitで、自作のデーモンプログラムの死活監視と、死んじゃったら(+おかしくなったら)再起動してもらうという仕組みを構築する方法をご紹介したいと思います。 まず、自作プログラムですが、どこか適当なところに自分のプロセスIDを記録するファイル(pidファイル)を作ってもらう必要があります。今回作業したマシンはUbuntu Linuxでしたので、/var/run/hoge.pidのような感じで、プロセスIDを格納しただけのファイルを置いておきます。 Monitくんは、このファイルの場所を教えておき、このファイルに記録されているIDのプロセスが死んでいたり、メモリを以上に消費していたり、CPUを100%使っていたり、といった条件で再起動を行わせるよう設定できる便利ソフトです。 手順 Ubuntu Linuxにはパッケージ管理システムaptがあるので、以下のようにしてイン
ウノウラボ Unoh Labs: プロセスの監視を行う デーモン monit
こんにちは satoです。 monitは プロセスの監視を行うデーモンです。 条件とそれに伴うアクションを指定することができます。 条件とは例えば以下のようなものがあります プロセスが起動していなかったら 特定のプロセスのメモリの使用量が あるサイズを超えたら 特定のプロセスのCPUの使用率が 50%を超えている状態が 10分続いたら 特定のポートに接続できなくなったら など アクションには以下のような物があります 起動、再起動する アラートメールを送信する ユーザスクリプトを実行する など これらを組み合わせて、プロセスの監視を行います。とくにユーザが作成したプログラムの監視などに効果を発揮します。インストールは RedHat系なら yum install monit で入ります。(CentOSや商用のRedHatはrpmforgeをリポジトリとして追加する必要があります) 主な設定ファ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NetflixのFIDO、セキュリティインシデントを監視する
サーバ運用の現場でひたすら監視し続けるエンジニアの手の内のすべて
Ganglia と Nagios: 第 1 回 Ganglia でエンタープライズ・クラスターを監視する