システム障害で消耗してるあなたに：失敗から学ぶための取り組み「Failure teaches Success」 - クックパッド開発者ブログ
こんにちは！広告エンジニアのレオです。最近、システム障害を起こしていますか？クックパッドも例外ではないです。毎月、何かしらのシステムに何かしらの障害が起きてしまいます。その際、早く気づき、速やかに対応することによって被害を最小限に留めるように努めます。そして、システムやデータを正常な状態に復旧させます。 正常な状態に戻した段階では対応はまだ完了していません。問題の本当の原因は何なのか、またその再発をどうやって防止するかを考えて手を打つまでは、障害の対応が完了したといえません。予防しない限り、また同じ過ちを繰り返すことになってしまいます。 失敗は成功のもと 根本原因分析、そして再発防止は大事な作業ですが、とても難しい作業です。クックパッドでは、これらを少しでもやりやすくするために、ルールと仕組みをまとめています。この仕組みを「Failure teaches Success」（略してFtS）と
インフラエンジニアの責任範囲と評価 - クックパッド開発者ブログ
インフラストラクチャー部の成田です。2015年10月現在、インフラストラクチャー部には私を含め7人のインフラエンジニアが所属しており、このメンバーでクックパッド本体サービスをはじめ様々な新規事業やいくつかの子会社のサーバを運用しています。私自身もエンジニアではありますが部のマネージャも兼ねているため、立場上、社外の方からインフラエンジニアのマネジメントについて質問されることがよくあります。今回は、私自身の考え方とクックパッド社における事例を紹介したいと思います。 「インフラエンジニア」とは 「インフラエンジニア」という言葉の定義はあいまいで、しばしば議論の的になります。傍目からは明らかにインフラエンジニアであるように見えるにも関わらず「私はインフラエンジニアでは無い」と主張する人たちもいます。このような状況になっているのは、サーバ運用に関する業務分掌が会社ごとに異なるからであると私は考えて
TSUBAME計算サービス | TSUBAME計算サービス
2017.07.24 : TSUBAME3.0 Q&A (8/25更新) 2017.07.07 : TSUBAME3.0運用開始以降のアプリケーションについて(8/2更新) 2017.06.29 : TSUBAMEの夏季縮退運転(ピークシフト)について(7/15追記) 2017.06.19 : 東工大TSUBAME3.0と産総研AAICが省エネ性能スパコンランキングで世界1位・3位を獲得 2017.05.09 : TSUBAME2.5移行運用で設定可能な有料サービスについて(7/26更新) 2017.04.04 : 2017年度のTSUBAMEの運用予定について(TSUBAME3.0)(7/26更新) 2017.02.17 : 東工大のスパコンTSUBAME3.0が今夏稼働開始―半精度演算性能47.2ペタフロップス、人工知能分野における需要急増へ対応― 2017.02.07 : 【最重要】
「ITインフラ監視実践入門」という本を書きました！ | こえむの編集後記
このたび、「ソフトウェアエンジニアのための ITインフラ監視[実践]入門 (Software Design plus)」という本を執筆・刊行する運びとなりました。 2016/01/16より発売です！Amazonなどのオンライン書店では先行予約も始まっております。 電子書籍版もあります。「Gihyo Digital Publishing」のサイト、またはKindleをどうぞ。 こんな人にオススメ！ サーバの監視設定ってどうやればいいかわからない サーバの監視設定はやったけど監視の業務をどう回せばいいかわからない サーバの監視についてまとまった情報が欲しい 本書では、体系的な知識を持ってすれば、多くの方にもサーバの監視設定を行っていただくことができるよう、まとめています。 現在、Webサービスをはじめとしたサーバを用いたシステムを運用するにあたって、サーバの監視は外せない業務となっています。し
AWSのログ管理！AWS運用管理フォーカスセミナー！！に参加してきました | DevelopersIO
はじめに 藤本です。 AWSのログ管理！AWS運用管理フォーカスセミナー！！に参加してきました。 ビックリマーク多めですね。 AWS運用管理フォーカスセミナー AWS運用管理フォーカスセミナーはAWSにおける運用管理に特化したセミナーとなります。 特にオンプレミスとクラウド(AWS)の運用管理の違いに関して、テーマ毎にスピーカーが軽やかなトークを展開します。 今回のAWSのログ管理！は三回目でした。 第一回、第二回目は監視がテーマでした。第一回目は商用監視ツール、第二回目はZabbixをテーマに開催。 私は初めて参加しましたので過去の内容は分かりませんが、AWS Partner SAブログにサマリが紹介されています。 第一回 AWS運用管理フォーカスセミナー 第二回 第2回 運用管理フォーカスセミナー Zabbix on AWS 過去のセミナーのアンケートでログ管理に関するご要望が多くあっ
AWS運用専門の勉強会「Ops JAWS#1」に参加してきました #jawsug #opsjaws | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 AWS運用管理コミュニティが主催するAWS運用に関する勉強会Ops JAWS#1に参加したのでレポートしてみます。 開会の挨拶 はじめはOps JAWSの紹介から、と思ったらまずは乾杯から OpsJAWSとは？ AWS運用管理領域のノウハウをまとめて、広く発信することを目的に活動を開始 はじめは、参加者固定で、アウトプット重視で活動 Partner SAブログに記事を掲載中 AWS運用管理コミュニティ AWS Summit 2015の後のJAWS-UGでお披露目。多数のご好評を頂き、晴れてこの度オープン化 なおロゴは仮で、募集中とのことです！ ワーキンググループ的な活動 エンタープライズなメンバー＋その道の専門家によるディスカッション！ ミッションは、AWS運用Tips集の作成＆発信（Partner SAブログ） 月に1〜2度の頻度で実
【社内資料公開】構築担当者向け 運用チームに引き継ぐ時に気にしてほしい3つのポイント | DevelopersIO
はじめに こんにちは植木和樹＠上越妙高オフィスです。AWS上でのインフラ構築が終わり、アプリケーションがデプロイされるといよいよサービスローンチ。数日〜数週間様子をみて問題がなければ運用チームに業務を引き継ぐことが多いかと思います。 運用チームへの引き継ぎ資料を作って「あとはよろしくね」となるわけですが、その段階で「待て」がかかってしまうことがあります。（だいたい待てを言うのは私なんですが） 今回はスムーズに運用チームに業務引き継ぎができるように、私が注意しているポイントをまとめておきたいと思います。 3つのポイント 注意するポイントは3つです。 1. Input なにをトリガーに作業が始まるのか。どんな通知がくるのか。 2. Action 何をするのか。 3. Output 作業が終わったら誰に報告するのか。 1つずつ説明していきます。 1. Input 運用チームは基本的に「イベント・
新米エンジニア(アプリ・インフラエンジニア問わず)に知っておいてほしいトラブルシューティング入門 実践編 - Qiita
※前回記事にてトラブルシューティング実施にあたって準備しておきたいこと(作業ログの取得方法など)を記載しておりますので、本記事では割愛します。 はじめに 前回の記事の続きとなります。 新米エンジニア(アプリ・インフラエンジニア問わず)に知っておいてほしいトラブルシューティング入門 はじめの一歩編 前回に記事を書いたあと、現場でも意外と基礎を押さえた切り分けができない人が多いのではと思い、よりいろんな方に読んでいただきたくタイトルをかえてみました。 前回の記事では、トラブルシューティングの前に実施しておきたい事や心構えについて記載しました。 今回はそれを受けて実際にトラブルが起きた際の簡易的な切り分け方法についてまとめてみます。 本記事の対象と扱う範囲 前回記事と同様に、初めてエンジニアとして働くことになった方々向けです。 本記事のゴールが「○○できないですのですが、、」といった事象に対して
ソフトウェアエンジニアだけでサービス運用できる環境を作って失業した話 - まいんだーのはてなブログ
はじめに このエントリは非常にポジティブで技術的なチャレンジに関するまとめであり求人エントリでもあります。 まとめ 昨年後半から、急成長するサービスを支えるため “どオンプレ” な環境で作ったサービスをクラウドに持っていく仕事をしていました。 クラウドのオイシイところを押さえられるよう作り変えをした結果として “Infrastructure as Code” を実践することになり、結果としてソフトウェアエンジニアだけですべてがコントロール出来る状態になり、インフラおじさん業が不要になりました。 そういった環境で働きたい "腕の立つITエンジニア(特にスマホとサーバサイド)" を募集しています。 発表資料&箇条書きで振り返る最近の動き AWS Casual Talks #3 https://github.com/myfinder/aws-casual-3/blob/master/slide.
AWS運用管理フォーカスセミナー（AWS×Zabbix）参加レポート | Tech-Sketch
4月に参加した第2回AWS運用管理フォーカスセミナーの講演内容についてお伝えします。 講演内容 4/22(水)にアマゾン目黒オフィスにてAWS運用管理フォーカスセミナーが開催されました。 今回のセミナーは、ZabbixをテーマにしたAWS環境の運用監視についての内容です。AWS監視サービスの説明から、Zabbixの機能説明、AWSでZabbixを活用した事例紹介など、約2時間にわたり講演が行われました。私自身Zabbix初心者のため、Zabbixがどんな監視ツールなのかを学ぶ場にもなりました。 講演内容は以下の通りです。 ■オープニングトーク アマゾンデータサービスジャパン株式会社 松本大樹氏 ■クラウドにおける運用監視 アマゾンデータサービスジャパン株式会社 酒徳知明氏 ■Zabbix3.0の最新動向とクラウド、オンプレミス、リモート拠点の一元監視 Zabbix Japan 寺島広大氏
第8回 SUUMOスマホサイトの開発裏話③ HipChatを軸にした自動化への取り組み | gihyo.jp
不動産／住宅情報を簡単に検索できるサービス「SUUMO」の開発に携わるリクルート住まいカンパニーの吉田拓真氏（写真1）と山下芳生氏（写真2）は、開発効率の向上を目指してさまざまな取り組みを進めています。今回は、中でも大きな鍵となる「自動化」についてお話を伺いました。 多数のツールをHipChatで連携 ――開発プロジェクトにおける生産性の向上は、多くの企業が課題としてとらえています。SUUMOのスマホサイト開発では、生産性を高めるためにどのような工夫をされているのでしょうか。 吉田氏：大きなポイントは自動化です。開発／運用／保守といった業務の中で、開発というクリエイティブな時間を増やすためには、やはり運用や保守の時間を削減しなければなりません。そのために自動化に取り組んだのです。 ――自動化を進めるにあたって障壁はありましたか。 吉田氏：1つめは技術的な問題です。社内に自動化の事例は少なく
【社内勉強会】クラメソでのITILの取り組みについて語ってみた | DevelopersIO
はじめに こんにちは植木和樹です。本日は先日行ったITIL社内勉強会の資料を公開します。 ITIL（Information Technology Infrastructure Library）はITサービスマネジメントにおけるベストプラクティスで・・・という説明で始まると、多くのエンジニアの方々は「面倒ください」という第一印象を持たれるようです。クラメソでも多分に漏れずそんな感じでした。 しかしAWSエンジニアのメンバーも増えてきたことから体系的なサービス提供プロセスというのが必要となってきたことと、安定してインフラ保守運用するためには構築段階からITIL（運用保守）を意識した仕組みづくりを理解してもらう必要があると感じていました。 というわけで、社内のAWSシニアエンジニア（主にSA Proな方々）を招いてITILとはなにか？という勉強会を行いました。 勉強会の進め方 ITILの意義や細
成長し続けるインフラの�安定運用事情
『ユーザーストーリーマッピング』 出会いと適用 / User Story Mapping encounter and application
AWS Summit 2015 - Day2 - AWS System Operation Deep Dive - 絶品ゆどうふのタレ
AWS 酒徳さん AWS上での運用をどうやって行くべきか システム運用で考えるポイント クラウドだからといって考える事の基本は同じ Monitoring 死活監視 キャパシティ監視 Logging 誰が、いつ、どのような変更をしたのか Configuration 構成管理 Chef / Puppetとかの個別の構成ではなく、システム全体の構成の話 Monitoring CloudWatch AWSのリソース監視 死活・性能・ログ監視 メンテナンスイベント 他にも、課金状況の監視など 何がオンプレと違うか？ モニタリングのマネージドサービス 可用性を考える必要がない データの持ち方 データポイントとしてデータを丸ごとごそっと持っている 個々のメトリクス情報として持っているわけではない いろんな切り口でモニタリングデキる Metrics / Namespace / Dimension などとい
クックパッドのデプロイとオートスケール、1日10回デプロイする大規模サイトの裏側（後編）。JAWS DAYS 2014
クックパッドのデプロイとオートスケール、1日10回デプロイする大規模サイトの裏側（後編）。JAWS DAYS 2014 大規模なオンラインサービスを支えるためのオートスケールと、サービスをすばやく進化させていくための迅速なデプロイ。クックパッドはこの2つをクラウド技術の組み合わせによって両立させています。 同社のインフラ責任者である成田氏がその仕組みやルールを、Amazonクラウドのユーザーコミュニティ主催のイベントJAWS DAY 2014で解説しました。 （本記事は「クックパッドのデプロイとオートスケール（前編）。JAWS DAYS 2014」の続きです） オートスケールはAmazon Auto Scalingを使わないと判断 今日の本題であるオートスケールの話をしたいと思います。 オートスケールとは一般に、トラフィックが増えたらサーバを増やしましょうね、という作業を自動化するものです
[レポート]インテルの考える今後のデータセンターとクラウド #AWSSummit | DevelopersIO
AWS Summit Tokyo 2015のTE-08: Technology - Cloud Native Solutions -:「インテルの考える今後のデータセンターとクラウド」のレポートです。 スピーカーはインテル株式会社の田口栄治氏です。 レポート 我々が直面する課題 時代が大きく変化している インターネット上のトラフィックの増加 10億人以上の人がネット接続をしている IT産業におけるITの使い方に大きな変化が起きている いかにカスタマーエクスペリエンスを高めるか、が求められている 市場の変化に伴い新しい技術が発生 マルチデバイスによるネット活用、データアクセス 人だけでなくモノのインターネット(IoT) クラウドがコスト削減だけでなく別の局面から活用されている 今のITを牽引しているのはエンタープライズではなくコンシューマー ITの基盤屋にとっては大変な話 コンシューマーのデ
![[レポート]インテルの考える今後のデータセンターとクラウド #AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/823f7aca4a5fc29780be05be8d6f7645655fcd6c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F05%2Faws_summit_tokyo_2015.png)
AWS Solutions Architect ブログ
こんにちは、ソリューションアーキテクトの舟崎です。 2015/5/12に開催しましたAWS初心者向けWebinar「基本から理解する、AWS運用監視」の資料を公開しました。 本資料では、AWSのリソース監視をするためのAmazon CloudWatch（以下CloudWatch）メトリックスやCloudWatch Logs、AWS CloudTrailsを使ったAWSアカウントの操作ログ取得方法など幅広く紹介させて頂いております。 Webinarで頂いたご質問とその回答がこちらです。※分かり易さのため、一部ご質問内容を編集させて頂いております。 Q1: SaaSの監視サービスを使うケースはどのような場合でしょうか？（あらたに監視サーバをAWS上に立てるのを嫌う場合？）VPC環境の場合でも、SaaS監視サービスが使われるケースもありますでしょうか？ある場合、どのようなケースでしょうか？ A1
エンジニアなら知っておきたい障害報告&再発防止策の考え方 - Qiita
システムには障害がつきものです。どんなにしっかりと作られたサービスであっても思わぬところで、バグやミスが発覚して、トラブルになるものです。大事なのはこういった障害を次への糧にしていくこと。失敗というのは大事な資産なので、管理できるようにしましょうという話。 あわせて読みたい あきらめるにはまだ早い！ソースコードの品質向上に効果的なアプローチ メンタリングの方法について基礎をまとめました。内心でなく行動を変えることが障害報告とも共通します。 新入社員が来てメンターになれって言われたけど、どうすればいいのかという対話テクニック 半年で40kg痩せた！ダイエットでわかるリーンなプロジェクトマネジメント手法 心理的安全性ガイドライン（あるいは権威勾配に関する一考察） 障害の種類と障害報告について 障害には、小さなもの、たとえば画面に表示されているテキストの乱れから、すべての画面で50xエラーが発生
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「運用改善」を考える 〜「自動化」を考える前に
» クラスタライフサイクル管理:キャパシティ・プランニングとレポート