SRE Doesn’t Scale
We encounter a lot of organizations talking about or attempting to implement SRE as part of our consulting at Real Kinetic. We’ve even discussed and debated ourselves, ad nauseam, how we can apply it at our own product company, Witful. There’s a brief, unassuming section in the SRE book tucked away towards the tail end of chapter 32, “The Evolving SRE Engagement Model.” Between the SLIs and SLOs,
AWS での Apache Kafka の実行のためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS での Apache Kafka の実行のためのベストプラクティス この記事は Intuit とのパートナーシップに基づいて書かれ、AWS で Apache Kafka クラスタを実行するための学習、ベストプラクティス、推奨事項を共有するものです。Intuit の Vaishak Suresh と同氏の同僚の方々の貢献とサポートに感謝いたします。 Intuit の概要: Intuitは、AWS のエンタープライズ顧客のリーダーであり、ビジネスと財務管理ソリューションのクリエーターです。Intuit の AWS とのパートナーシップに関する詳細については、以前のブログ記事 Real-time Stream Processing Using Apache Spark Streaming and Apache Kafka on AWSを参照し
1,000台規模のインフラ刷新！ Kubernetesを採用したサイボウズが語る「NoOps」な未来｜ハイクラス転職・求人情報サイト アンビ（AMBI）
1,000台規模のインフラ刷新！ Kubernetesを採用したサイボウズが語る「NoOps」な未来 Kubernetesの設計思想に共感して、1,000台規模のインフラ刷新プロジェクトに採用したサイボウズが、独自のインフラ、自社開発のOSSツールで挑戦するNoOpsな未来について聞きました。 1,000台規模のインフラをKubernetesで刷新する なぜパブリッククラウドではなく独自インフラなのか インフラ自体を継続的デリバリするためツールをOSSで Kubernetesの設計思想にインスパイアされたNeco ビジネスとして大切にしている部分は細部まで自分たちで 主力製品の「サイボウズ Office」「Garoon」「kintone」などを、2011年からクラウドサービス cybozu.com として提供してきたサイボウズ。これらのサービスのために同社が自前で構築したインフラ基盤は、国
Linuxのloadavgが約7時間ごとに上昇する現象の原因 - Mackerel ブログ #mackerelio
Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 本エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada
社内障害情報共有のススメ - Hatena Developer Blog
こんにちは、アプリケーションエンジニアのid:shiba_yu36です。今日は社内で数年ほど取り組んでいる障害情報の社内共有についてご紹介したいと思います。 障害情報を社内共有する理由 サービスを運営しているなら、出来る限りサービスが一時的に止まってしまうなどの障害を起こさないように事前に対策を取るなど気をつけるべきです。しかし、どれだけ事前に対策をとっても、急激なアクセスの増加や、意図しないバグの混入、オペレーションのミスなどを理由として、障害を起こしてしまうことがあります。 障害が起きた時、それに暫定的に対応して終わりとしてしまうことも多いです。しかし、復旧した後大事なのは、障害に対して適切に振り返りをし、同じサービスで同様の理由で障害を起こさない、また社内で同様の理由の障害を未然に防ぐことです。 そこで、はてなでは障害の暫定対応をした後は、障害の振り返りや他チームへの知識共有のために
闇のDevOps DevOpsと業績評価 – ところてん – Medium
先日、NTT Tech Conferenceに参加しました。そこで、DevOpsのセッションを聞いて色々と思うところがあったので、手持ちの資料から抜粋して色々と書いてみます。 大本の資料は、2013から2015年にかけて、九州工業大学でM1の学生向けに講演した内容になります。 今思えば、「ベンチャー企業におけるDevOpsについて話してほしい」という依頼に対して、「DevOpsと社内政治」について話してしまったので、本当に申し訳ないと思ってる。 まあ、ツールはいくらでも移り変わるが根源の思想はどこまで行っても変わらんので、思想教育だけしておけばいいかなというのはある。 さて、昨今DevOpsが話題で、「DevOpsをやってみたいので、どのツールを使ったらいいか教えてくれ」みたいな残念な会話をチラホラ耳にします（と、NTTの中の人が言ってしました）。 この手の人々が残念なのは、DevOps云
[翻訳]サイト信頼性エンジニアリング (SRE) とは何か？ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本稿は以下で公開されている Ben Treynor 氏と Niall Murphy 氏のインタビュー記事の翻訳です。 https://landing.google.com/sre/interview/ben-treynor.html 免責事項/Disclaimer 本稿は 非公式 の翻訳記事です。インタビュアーの Niall Murphy 氏 (@niallm) に翻訳を公開することの許可は取っています。本稿の内容に関して Niall Murphy 氏と Google 社は一切の責任を負いません。 Japanese version of
![[翻訳]サイト信頼性エンジニアリング (SRE) とは何か？ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e383e37ae064ee0a35b91f3b9827a06b2fcda3c3/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnMzLWFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkZxaWl0YS1pbWFnZS1zdG9yZSUyRjAlMkY1OTg4JTJGY2VkYWI4MzM1MDcyMzE3YTBkN2U4YTI5NDc0M2Y4OTlmMjc2NzlkOSUyRmxhcmdlLnBuZyUzRjE1NzE5MDEzMDI_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmJnPUZGRkZGRiZmbT1wbmczMiZzPTk4Mzc2MGNjYjNiZmUzZjI3ZjQ5NTFjMzI0NzM1NWJm%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dc06ecac856ab1906ef46acbb80e0d18e%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUU3JUJGJUJCJUU4JUE4JUIzJTVEJUUzJTgyJUI1JUUzJTgyJUE0JUUzJTgzJTg4JUU0JUJGJUExJUU5JUEwJUJDJUU2JTgwJUE3JUUzJTgyJUE4JUUzJTgzJUIzJUUzJTgyJUI4JUUzJTgzJThCJUUzJTgyJUEyJUUzJTgzJUFBJUUzJTgzJUIzJUUzJTgyJUIwJTIwJTI4U1JFJTI5JTIwJUUzJTgxJUE4JUUzJTgxJUFGJUU0JUJEJTk1JUUzJTgxJThCJUVGJUJDJTlGJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YjNiNjVjNWZkYzhjYTZmZjViYTYxNWMzYTIxM2Y4NjY%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB0MnkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz1lODhmZjRmNGUzNjc1MWRiMThlMDJlMjQ3ZjdiMGQ5NA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3De5da3fb62fa0ca2e1fd12da93b1cf362)
グレースフル・デグラデーション | 藤崎圭一郎の雑思録
『AXIS』の最新号が届きました。連載「未来技術報告」で、産総研の合体変形ロボット「M-TRAN」について書いています。このプロジェクトのリーダーの黒河治久さんに、「グレースフル・デグラデーション」（グレースフル・デグレデーション／graceful degradation）という素敵な言葉を教わりました。 直訳すると優美な減衰とか優雅な劣化という意味です。性能劣化が余儀なくされた場合でも、その劣化を出来るかぎり緩やかにとどめ、全体のシステムへの影響を最低限に抑えることです。何らかの故障や誤操作があってもシステムが正しく運行され、故障自体を修復してしまう自律分散並列システムをつくりだす「フェール・セーフ」や「フォールト・トレランス」の研究から生まれた言葉です。冗長性（リダンダンシー）やロバストネスにも深く関連します。 その話を聞いて、あっサッカーでもあるなと思いました。退場者を出したときとか
Service-level objective - Wikipedia
A service-level objective (SLO) is a target value or range of values for a service level that is measured by an SLI.[1] An SLO is a key element of a service-level agreement (SLA) between a service provider and a customer. SLOs are agreed upon as a means of measuring the performance of the service provider and are outlined as a way of avoiding disputes between the two parties based on misunderstand
Yahoo! JAPAN のサーバー OS について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サイトオペレーション本部の渡邉です。 サイトオペレーション本部はデータセンタ・ネットワーク・サーバー・OS・ストレージ・OpenStack といった全社的なインフラの管理運用や調査検証などを担当しています。今回は Yahoo! JAPAN で使われているサーバー OS の状況やその開発運用について紹介したいと思います。 利用されているサーバー OS Yahoo! JAPAN では現在十数万台のサーバーが稼働しており、そのうちの約9割で CentOS 6/7 が利用されています。残りの1割では、用途に応じて次のようなものが利用されています。 Red Hat Enterprise Linux Oracle Linux Ubuntu F
雑な発想を活かすチーム作り - クックパッド開発者ブログ
インフラストラクチャー部の成田（@mirakui）です。インフラストラクチャー部は、クックパッドで扱っている全サービスのサーバを設計・構築し、運用しているチームです。2015年3月現在、6人のメンバーで運用をしています。 さて、この運用というのは外から見ていると保守的な仕事に思えるかもしれませんが、その実、とてもクリエイティブな仕事です。クックパッドのサービスは一日平均で10回以上デプロイされており、アクセスも日々増え続け、状況は刻一刻と変化しています。今日動いているサーバ構成が、一年後に通用するとは限らないわけです。そんな変化に追従するためには、サーバを常に改善していかなければなりませんし、チームにも柔軟な発想が求められます。 「さあブレストしよう」→アイデア出ない問題 さあ業務を改善しよう、と意気込んでブレインストーミングを開いても、なかなか十分なアイデアが出きらないのはよくある話です
Google SRE - Ben Treynor Sloss on sre and sre team responsibilities
In Conversation In this interview, Ben Treynor Sloss shares his thoughts with Niall Murphy about what Site Reliability Engineering (SRE) is, how and why it works so well, and the factors that differentiate SRE from operations teams in industry. Fundamentally, it's what happens when you ask a software engineer to design an operations function. When I came to Google, I was fortunate enough to be par
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
運用自動化、不都合な真実 // Speaker Deck
運用現場におけるSRE本の「正しい」読み方
https://promcon.io/2017-munich/slides/best-practices-and-beastly-pitfalls.pdf
StackStorm | Event-driven automation
On-call Engineering
golang で書かれたプロセスのリソースを外部から監視/操作できる「gops」 - Qiita
アトラシアン社内事例：IT 部門とサイト信頼性エンジニアリング (SRE) 部門による ChatOps を使用したインシデント管理方法 | Atlassian Japan 公式ブログ | アトラシアン株式会社
Site Reliability Engineers: “solving the most interesting problems”
