PagerDuty Incident Responseの邦訳版を公開しました | Folioscope
こんにちは、ご無沙汰してます。 早速ですが、皆さんのチームにはインシデント発生時のプロセスが決められていますか？ インシデント管理サービスを提供しているPagerDutyは、「PagerDuty Incident Response」というドキュメントを公開しています。 このドキュメントがすごく良いものだったので、このたび邦訳した物を公開することにしました。 https://ueokande.github.io/incident-response-docs-ja/ このドキュメントはなに？ このドキュメントは、PagerDuty におけるインシデントの対応プロセスが紹介されています。 インシデント対応の準備や、新しくオンコールを始める社員のトレーニングに利用しているドキュメントです。 このドキュメントはもともと PagerDuty の社内ドキュメントとして利用していたものを、公開可能なものに
「信頼性」を保ちつつ大規模サービスをリニューアルする / cookpad-tech-kitchen-service-embedded-sres
Cookpad Tech Kitchen #24 5800万人が使うサービスのリニューアルとその技術 ( https://cookpad.connpass.com/event/183385/ ) で、"「信頼性」を保ちつつ大規模サービスをリニューアルする" というタイトルで発表した際の資料です。 スライド内のリンクは次のとおりです。 - How SRE teams are organized, and how to get started: https://cloud.google.com/blog/products/devops-sre/how-sre-teams-are-organized-and-how-to-get-started - Design Docs at Google: https://www.industrialempathy.com/posts/design-docs
みんなでつくる Production Readiness - スタディサプリ Product Team Blog
こんにちは。SRE の @chaspy です。 以前、Production Readiness Checklist に関する記事を書きました。 quipper.hatenablog.com Production Readiness Checklist の運用開始から1年ほどの月日が経ち、27ものサービスが無事 Production へ出ていきました。 サービスを安心して Production へリリースするために役立っている Production Readiness Checklist ですが、Product Team がこの Check List を進める上でいくつか課題がありました。 本記事では、Production Readiness Checklist 運用開始後に、どのような改善が行われてきたのか、その内容と方法を説明します。また、1年以上の運用を通して、Production R
モダンなシステムにSLI/SLOを設定するときのベストプラクティス
New RelicではどのようにSLI/SLOを定義し、SREを実践しているか。その経験から、SLI/SLOについて解説した記事 Best Practices for Setting SLOs and SLIs For Modern, Complex Systems の翻訳です。 -- New Relicのサイト信頼性VPであるMatthew Flamingも、この記事に貢献しています。この記事はサンフランシスコその他で行ったFutreStack18での講演「SLOs and SLIs In The Real World: A Deep Dive.」をもとに作られています。 New Relicでは、サービスレベル指標（Service Level Indicator: SLI）とサービスレベル目標（Service Level Objective: SLO）を定義したり設定したりことが、サイト
SRE NEXT 2020 で「SLO Review」というタイトルで登壇しました #srenext - スタディサプリ Product Team Blog
こんにちは。SRE の @chaspy です。 先日行われた SRE NEXT 2020 にて、SLO Review というタイトルで発表してきました。 本記事では、会場に来られた方には内容を追体験してもらえるように、来られなかった方には伝えたかった内容を持ち帰っていただけるように解説します。 来場者への質問 本セッションを聴きに来られている会場の方に、SLO に関する質問をしました。 会場への質問 SLO という言葉の意味を知っているひと：9割以上、ほとんど全員 自分のサービスに SLO を定めて運用をしているひと：2割程度 Error Budget Policy を定めて、SLO 違反になった際にリリースを止めるなどをしているひと：2,3人 事前に予想した通りの比率でした。まさに僕の発表は 1 を満たしているが、2をこれからやる、というひとに対するヒントを提供する発表だったからです。
SRE NEXT 2020 [C6] Designing fault-tolerant microservices with SRE and circuit breaker centric architecture
The deck for the talk in SRE NEXT 2020 (https://sre-next.dev/schedule#c6)
![SRE NEXT 2020 [C6] Designing fault-tolerant microservices with SRE and circuit breaker centric architecture](https://cdn-ak-scissors.b.st-hatena.com/image/square/81e9f4d8b3c3dfb32ee1e87e0c10b12785b07480/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fcd1a7fdf3b8b4b3298d6f49f2fb4e4da%2Fslide_0.jpg%3F14730042)
SRE Practices in Mercari Microservices
This is a slide for SRE NEXT 2020 (https://sre-next.dev/). Mercari Microservices Platform Team is building a platform for backend developers to build and run microservices. Currently, in this platform, around 100+ microservices are running and more than 200+ developers are working with. To run this scale of platform, the reliability is really critical. In this talk, I will share how we operate thi
クックパッドの海外展開におけるSREの役割と挑戦
2019年2月27日、恵比寿ガーデンプレイスザ・ガーデンホールにて、「Cookpad TechConf 2019」が開催されました。Cookpadのエンジニアやデザイナーがどのようにサービス開発に取り組んでいるのか、またその過程で得た技術的知見について公開します。プレゼンテーション「Challenges for Global Service from a Perspective of SRE 2nd season」に登壇したのは、クックパッド株式会社技術部SREグループエンジニアの渡辺喬之氏。講演資料はこちら クックパッドSREが語るグローバルサービスへの挑戦 渡辺喬之氏（以下、渡辺）：それでは発表をはじめます。よろしくお願いします。今日の発表内容ですが、まずクックパッドの海外展開について、ご存じない方がいらっしゃると思いますので、ご紹介いたします。その後、クックパッドにおけるSREの役割
障害対応とポストモーテム - スタディサプリ Product Team Blog
こんにちは。SRE の @chaspy です。 ユーザに価値が提供できなくなってしまうシステム障害は起きてほしくはありませんが、絶対に発生しないとは言い切れません。 そんなシステム障害は、そもそも発生頻度が不定、かつ多くないので、どのように対応すべきかを体系化することは（起きる事象が毎回異なることも相まって）難しいと思います。 本記事では、Quipper において、どのように障害対応を行うのか、また、障害発生時の考え方を紹介します。 障害はどのように対処されていくのか 障害発生フロー Quipper では 標準化された障害時連絡のフロー / 障害レベルがあります。 これによって、障害の内容、影響範囲によっては親会社のリクルートマーケティングパートナーズへのエスカレーションが必要であることと、その基準が言語化されました。また、エスカレーション時に送るメールのテンプレートも用意されており、「誰
インフラチームからSREへ / SRE in Mercari Developers Summit 2018
インフラチームからSREへ 〜メルカリを支える新しいインフラのあり方 Developers Summit 2018/2/16
事業会社でのSRE事例 - Qiita
はじめに 従来、弊社はフルスタックエンジニアがインフラからフロントまでの面倒を見るスタイルでサイト開発をしてきていました。 今年、その体制が大きく変わり、SREチームが発足してインフラ・運用をメインに担っています。 本記事では、その背景と導入してからの活動について簡単にまとめます。 従来の課題 事業スケールの課題 事業を大きくしていく中で、サービス規模も拡大していくが、限られたメンバーで運用していくには限界が訪れる リクエスト数の増加、スループットの増加でアプリケーションの改修だけでは対応しきれなくなることが見えている 開発環境の課題 エンジニアが増え、「よく知っている」エンジニアと「はじめまして」のエンジニアの間で開発速度に差が広がる サービス拡充を繰り返す中で、デッドコードやブラックボックスになる関数も増える VPS運用からクラウド運用へ移行し、ベストプラクティスが変わっていく モチベ
ウェブシステムの運用自律化に向けた構想 - 第3回ウェブサイエンス研究会 - ゆううきブログ
はてなエンジニア Advent Calendar 2017の2日目です。 昨日は、id:syou6162 さんによるAWS Lambda上で鯖(Mackerel)の曖昧性問題を機械学習で解決しよう - yasuhisa's blogでした。 この記事は、人工知能学会 合同研究会2017 第3回ウェブサイエンス研究会の招待講演の内容を加筆修正したものです。 講演のテーマは、「自然現象としてのウェブ」ということでそれに合わせて、「自然のごとく複雑化したウェブシステムの運用自律化に向けて」というタイトルで講演しました。 一応、他の情報科学の分野の研究者や技術者に向けて書いているつもりですが、その意図がうまく反映されているかはわかりません。 概要 1. ウェブシステムの信頼性を守る仕事 2. ウェブシステム運用の現状 国内のウェブシステムの運用技術の変遷 クラウド時代 コンテナ型仮想化技術 サーバ
Google - Site Reliability Engineering
Eliminating Toil Written by Vivek Rau Edited by Betsy Beyer If a human operator needs to touch your system during normal operations, you have a bug. The definition of normal changes as your systems grow. Carla Geisser, Google SRE In SRE, we want to spend time on long-term engineering project work instead of operational work. Because the term operational work may be misinterpreted, we use a specifi
Google、書籍「Site Reliability Engineering」の無料公開を開始。インフラや運用をソフトウェアで改善していく新しいアプローチ
Google、書籍「Site Reliability Engineering」の無料公開を開始。インフラや運用をソフトウェアで改善していく新しいアプローチ 「Site Reliability Engineering」（SRE）とは、GoogleのシニアVPであるBen Treynor氏が提唱した、高い信頼性や性能を発揮するシステムインフラを実現し、改善していくアプローチのひとつです。 これまでの運用チームやインフラチームによる運用や改善とSREが異なるのは、SREでは積極的にコードを書き、ソフトウェアによって目的の達成を目指している点にあるといえます。 Googleが公開しているSREのWebサイトでは、SREを次のように説明しています。 Like traditional operations groups, we keep important, revenue-critical syst
マイクロサービスとSRECon / #microserv
8/9 に FiNC 社で開催された Microservices Meetup vol.2 で、マイクロサービスと SRECon という話をしました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webサービスを1日10回デプロイするための取り組み / SRE NEXT 2020
https://www.usenix.org/system/files/login/articles/login_1410_05_klein.pdf
On-call Engineering