【汎用ソフトスキル】本番障害対応のやり方
この記事の目的 障害対応をなんだかんだでやり続けているので、その知見をアウトプットにしたくなった。 想定読者 今まさに障害が起こって、対応しなきゃいけないけどどうしようかパニクって「障害対応」でググっちゃった人 システム運用任されたけど、何かあった時に何すればいいのかわからん、という人 障害復旧のために本番環境触るのが怖くてたまらない人 想定読者ではない人 障害対応になれてる人 自分なりのルーチンができているなら多分それが一番いいと思います 開発者が自分1人の会社で働くエンジニア or それに近い環境の人 組織やら意思決定やらの話が入ってきます 書いている人のスペック(参考) 歴５年くらいのなんちゃってフルスタックエンジニア 普段は Node.js / React.js or React Native あたりでアプリ制作をしている。たまにインフラぽちぽちする。(I ♡ aws-cdk) ３
インフラエンジニアの独り言、ストレージは盲点になりがち - orangeitems’s diary
インフラエンジニアの世界 IT技術者というと世間から見たら、要件定義やシステム設計をおこなうシステムエンジニアと、それを実装するプログラマーしか見えてないと思うんですよね。でもその基盤を動かすインフラエンジニアという人たちが全体の10パーセント弱（肌感）存在しています。 インフラエンジニアと言ってもまたそこから役割分担があって、物理サーバーやOSに強いサーバーエンジニアと、ネットワークに強いネットワークエンジニアがいます。大昔は物理サーバーとネットワークしかインフラに無かったので、大体はこの二極化でした。ネットワークエンジニアはスイッチやファイアウォール、ロードバランサーくらいまでは自分の領域としてくれていますが、OSやミドルウェアのことになると、それは私の領域ではない発言が出てサーバーエンジニアをブチ切れさせること請け合い。逆にネットワークエンジニアはサーバーエンジニアがなんでもネットワ
IT導入/要件定義の前に、PoCの時間を取ってもらえませんか？ | (株) クオリティスタート
IT導入を行うにあたって、非常に多いのが「カタログや画面、説明を聞いていたらこのソフトやシステムで問題ないと思っていたが、実際に納品されたものと使ってみると使いづらかった。期待したものではなかった。」という失敗談です。そういったすれ違いを可能な限り少なくするために、ITシステムを導入するために何をどう考えなければならないのかを解説します。 「要望」と「要件」がもたらすギャップ システムを手に入れる過程は、注文住宅を作る過程によく似ています。 リビングは12帖以上 書斎が欲しい 床の木からぬくもりを感じたい 寒がりなので断熱効果を高めたい これが要求、つまり成し遂げてほしいことです。使う人が作る人に対して、伝えるべきことです。 これに対し「要件」というものは、こういうことになります。 12帖のリビングにするために、書斎の場所は収納になるが良いか？ 断熱効果を高めるための素材はこれでいいか？
属人化を避ける - Qiita
属人化の理由 個人の問題 手抜きやバグを隠す たとえば、仕様書外の動作を実装し、それをプロジェクトで利用する 解雇されないための保険的行動 チームの問題 マニュアルを作る文化の欠如 他人のタスクに対する無関心 他人の監査なしにプロジェクトを更新可能 どうやって属人化を避けるのか 間違った対策 ○○さん以外にもマニュアルなしで操作できる人間を育成 育成した人が全滅すればやっぱり同じ状況 全員がすべてのプロジェクトに精通するとかはムリ 正しい対策 モジュールごとに仕様書を用意 間違って使うことが難しい仕様とする 即ち、仕様書を読まなくてもある程度正確に使える お互いにコードレビューさせる 具体的にはどうすれば良い？ テスト・仕様書・利用例 テストは仕様書のベースとなる 仕様書を見れば、深い動作がわかるようになる 仕様書を読まなくても、利用例を見れば使える 全員がテストできる環境を作る 前提条件
クラウドに基幹を移行して5年超経過 - 急がば回れ、選ぶなら近道
もう5年か、まだ5年というべきかちょっと判断に迷う。大抵の業務系のシステムがクラウドを始めるのは現実的には今年来年以降になるので、今の自分達の状況は多分、今後の業務系システムをクラウド移行したユーザの近未来になると思う。ので、予想的にまとめておく。本格的にクラウドを利用した業務アプリケーションの5年がどうなるかの一つの指針になるかと。 以降は別に統計データでもなんでもなく5年間を眺めてみて自分の印象。 ・障害：大規模は５年で2-3回程度。一度は業務に影響が出て客先にお詫びに行った。AWSだったけど、サポートからは「もう回復してるのでチケットクローズね」みたいな話だったと記憶している。その後は大体四半期に一回程度のN/W障害。障害は普通に起きているし、オンプレと比べてどうか、という比較では細かい障害件数は減った気はしていない。ただし、「ドカンと来るでかい障害」は確実に減った。 ・データ増加対
Scala福岡で、Play Frameworkをどうやって安全にバージョンアップしたかを話してきました - だいくしー(@daiksy)のはてなブログ
scala.connpass.com Scala福岡で登壇機会をいただき、お話してきました。 ぼくたちが運用・開発しているMackerel というプロダクトで、2度実施したPlay Frameworkのバージョンアップで得た知見を元に、アプリケーションフレームワークの更新をどうすれば安全にやれるだろうか、という観点でのお話でした。 あえて技術的な側面にはあまりフォーカスせずに、プロジェクトマネジメントの視座からお話することで、ScalaやPlayにかぎらず参考になるような発表になればいいな、ということを意識しました。他の言語の世界をあまり詳しく知らないので、意図通りの発表になったかどうかはわかりませんが…。 Twitterを見たところ、おおむね好評なようでよかったです。 サービスに機能追加しながら運用しつつ、フレームワークやライブラリのバージョンアップについて行くのまじで大変なので、このセ
サービスか受託か。Webサービスを作るということ | F's Garage
先日、某SIコンサル社にいる方が、まだ転職を悩んでるという前提でのカジュアル面談に臨んだ。その人の転職理由というのは、僕が受託の会社から転職した時に言っていたこととそのままだったので、是非、本面接に進んで欲しいと思った。 その一方で、受託からWebサービスに来る人に、よく言うことして、 「受託からWebサービスに来ると、ファンタスティックな案件がなくなってつまらないかもしれないですよ」 と言う話をする。これはどういうことか？というと「技術的チャレンジ」を求めるならば、筋の良い受託の会社にいる方が楽しくて、Webサービスはコードを書いている瞬間から技術的なレガシーを産んでおり、先々に渡って最初の選択の影響を受けるので、あなたの技術力の定義が「話題の言語でコードを書けること」であるならば、Webサービスはあんまり勧めません、という話をする。 当時僕がいた会社は、技術の共通化がまだ進んでおらず自
高度に発達したシステムの異常は神の怒りと見分けがつかない - IPSJ-ONE2017 - ゆううきブログ
名古屋大学で開催されたIPSJ-ONE2017 で登壇しました。 IPSJ-ONEというのは、情報処理学会の各研究会から選ばれた日本の若手トップ研究者17人が集まり、自身の研究を高校生でもわかるように発表するイベントです。 1000人ぐらい入る講堂で、しかもニコニコ生放送で配信されるというとても大掛かりなイベントです。 ちなみに、昨年は、同じ研究会からの推薦で、 id:matsumoto_r (matsumotory) さんが登壇されています。 IPSJ-ONE 2016で登壇してきた - 確実に時代は変わってきている #ipsjone - 人間とウェブの未来 発表 「高度に発達したシステムの異常は神の怒りと見分けがつかない」という、一見何の話かわからないやばそうな話なんですが、大真面目に話してきました。 スライドを以下に公開しています。ただ、スライドだと何の話をしているかおそらくわからな
GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット － Publickey
果たしてGitLab.comで何が起きたのでしょうか？ これまでの経緯をまとめました。 スパムによるトラフィックのスパイクからレプリケーションの不調へ GitLab.comは今回のインシデントについての詳細な経過を「GitLab.com Database Incident - 2017/01/31」で公開しています。また、もう少し整理された情報がブログ「GitLab.com Database Incident | GitLab」にも掲載されています。 これらのドキュメントを軸に、主なできごとを時系列に見ていきましょう。 1月31日16時（世界協定時。日本時間2月1日午前8時）、YP氏（Yorick Peterse氏と思われる）はPostgreSQLのレプリケーションを設定するためにストレージの論理スナップショットを作成。これがあとで失われたデータを救う幸運につながります。 1月31日21時
「速」を落とさないコードレビュー
Forkwell Meetup #3 https://forkwell.connpass.com/event/48147/Read less
楽しい！ 欲しい！ やっと出た！ ネットワークエンジニアから見た「ウイルスバスター for Home Network」 - はてなニュース
トレンドマイクロが発表した「ウイルスバスター for Home Network」は、ルーターに挿し、管理用のスマホにアプリを入れるだけで“家族を守る”という、ちょっと変わった、そして現実的な解だ。ホームネットワーク内の機器を毎日スキャンし、簡易なパスワードがあれば管理者に連絡する。さらに、パケットのアプリケーション層までチェックするDPI（ディープ・パケット・インスペクション）機能に、ホームネットワークのWebレピュテーション機能。企業の話ではなく、これを「自宅」で実現するデバイスが登場したのだ。 今回、新たな守り方を1つのデバイスで実現したトレンドマイクロの開発者と、はてなのネットワークを管理して守ってきたエンジニアがざっくばらんにその思いを語った。「ウイルスバスター for Home Network」はあえて技術面の詳細を隠し、シンプルさを売りとして掲げる製品だが、エンジニアとしての視
マッスルエンジニアリングの提唱 - Qiita
はじめまして。リブセンスアドベントカレンダー1日目を担当させて頂きます masahixixi です。 早いもので弊社アドベントカレンダーも3年目を迎えることができ枚数も毎年1枚ずつ増えており大変順調に推移しております。それでは宜しくお願い致します。 2016年12月1日をマッスルエンジニアリング元年とする こちらの画像は、2016年11月30日にマッスルエンジニアリングで検索を行った際の結果です。 1年後どうなっているか今から非常に楽しみです。 以下より本題です。 マッスルエンジニアリングとは 私達が普段行っている、開発や運用にマッスルを用いることで開発効率を上げたり、より良い運用に貢献していくことを指します。一個体が持つ筋量を最大化することによって今まで実現できていなかった機能の実装や可用性向上に寄与していくものと考えています。 マッスルはいつもあなたのそばに あなたはこんなことを思った
自動化よりまともに仕事ができるようにしよう：101回死んだエンジニア：エンジニアライフ
いろいろな仕事を渡り歩き、今はインフラ系エンジニアをやっている。いろんな業種からの視点も交えてコラムを綴らせていただきます。 ■自動化できるかできないかのポイント 自動化ができるかできないか。これを見極める簡単なポイントがある。まず、自動化が実現されるプロセスを考えてみよう。まず、自動化する対象の業務が整理されているだろうか。手作業でやっても円滑に業務ができるかということだ。 対象の業務を整理せずに自動化を推し進めると、仕組みが複雑になり過ぎて破綻する。そもそもな話で、整理もされてない業務が自動処理できるというのも、都合が良すぎる話だ。まず業務を整理して安定して行えるようにしよう。自動化の話はその後だ。 自動化をしたいという要件は多く聞く。しかし、業務の手順を頑なに変えようとしない。こういうケースでは、業務が属人化している、例外処理が発生しやすい、フロー自体が整理されていない等、自動化以前
インフラエンジニア以外も必見！インフラの基礎が学べるスライド10選-レバテック
インフラについて、何となく理解しているつもりでも、「インフラとは何か？」と聞かれると、こういうものであると明確に答えるのは案外難しいものです。 そこで、インフラの基礎がわかるスライドシェアを10個ピックアップしてご紹介します。 インフラエンジニアの定義、インフラの基礎、手順書の書き方、インフラ自動化など、初心者から中級者向けの内容となっています。 Web業界で働くなら、システムの基盤となるインフラについて学んでおいて損はないはずです。
マーケティング担当者にSQLを完全マスターさせた話 - Qiita
普段開発とかしない人達にもデータベースに簡単に触れられるようにしたお話です． 安全なデータベースを作る 本番サービスのデータベースと同等，だけど個人情報的なものは隠しておきたい，よく聞く話ですね． これについては様々なアプローチがあるようですが，できる限り安定させたい＆バッチでやるにしてもサーバの面倒を見たくない，とう方針のもと，RDSのスナップショットを利用して作成することにしました． 処理の流れ RDSが1日1回スナップショットを取っている(これはRDSの機能) RDSのスナップショットが取られると，RDSからイベント通知が投げられるので，SNS→SQSへ届くようにしておく(これもRDSの機能) CloudWatchでSQSのキュー数を監視するようにしておき，キューが1つ以上になると処理用のインスタンスを立ちあげる設定にしておく(CloudWatch，AutoScalingの機能) イ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
shiodaifuku.io
インフラエンジニアの綺麗で優しい手順書の書き方
効果的にGitHubを使うために
技術的負債と向き合う
エンジニアが納期を守れていないとしたら、そこにはいったい何があるのだろう？（あるいはいったい何がないのだろう？）
