こんにちは、Platform Team の荒引 (@a_bicky) です。前回は続・何でも屋になっている SRE 的なチームから責務を分離するまでの道のり 〜新設チームでオンコール体制を構築するまで〜という話を書いたんですが、今回は Repro の運用に 7 年以上携わる中で私が遭遇して印象的だった Aurora MySQL 絡みのトラブルについて紹介します。 Aurora MySQL が詰まってデータ処理のスループットが下がるとか、API のレスポンスが遅くなるとか、ALTER TABLE する度にアプリケーションエラーが発生するとか、胃が痛くなる胸が熱くなる話が多いので、Aurora MySQL を利用していなくても楽しんでいただけるのではないかと思います。Aurora MySQL を利用している方であれば参考になる情報もあるでしょうし、通常の MySQL にも適用可能な話もあります
計測する前に観察せよ ~ Observe. Don't measure for monitoring until you've observed - An Epicurean
エンジニア大好き「推測するな、計測せよ」。これは、Plan 9, UTF-8やGoの作者としても知られる、Rob Pike氏の Rob Pikes's 5 Rules of ProgrammingのRule 3.に由来すると認識している。以下に原文を引用する。 Rule 3. Measure. Don't tune for speed until you've measured, and even then don't unless one part of the code overwhelms the rest. Rob Pike's 5 Rules of Programming 訳すと以下のようになる。 「計測せよ。計測するまでチューニングをするな、そしてそこが支配的じゃないならチューニングするな。」 要は「チューニングする前に計測せよ」という主張で「推測」と言う言葉は出てこない。なの
SREチームの長田です。 皆さんは操作するAWSアカウントを取り違えたことはありますか？ 私はあります。 カヤックのSREは複数のプロダクトを担当することも多く、 ひとつのプロダクトでも環境(本番、ステージング、開発、etc.)ごとにAWSアカウントを分ける場合があり、 扱わなければならないAWSアカウントが多くなる傾向にあります *1。 今回はうっかり別のアカウントのリソースを削除してしまったーといったオペレーションミスを減らすために個人的に行っている、 「気をつける」以外の対策を紹介します。 間違いに気づくための対策 対象のアカウントが操作の対象として正しいかどうかは、結局は操作している本人にしか分かりません *2。 そのため、「アカウント取り違え自体をなくす」のではなく、 「アカウントを取り違えていることに気づきやすくする」ための対策をしています。 AWSコンソール用の対策 AWSコ
こんにちは。Google CloudでオブザーバビリティやSREを担当していたエンジニアです。明日でこう名乗るのは最後になります。明日、2024年10月31日付でGoogleを退職します。 pic.twitter.com/dS3WOVCQBj— Yoshi Yamaguchi (@ymotongpoo) 2024年10月30日 かしこまった挨拶 Googleに入社してから10年目までの話は次の記事で一旦まとめているので、改めて振り返ることはしません。 ymotongpoo.hatenablog.com 上の記事を書いたのは新型コロナ禍真っ只中で、カンファレンスなどもみなオンラインばかりで、人とのつながりがなかなか難しくなったころでした。その後、ワクチン開発や発症後の処置方法の確立、新型コロナウイルスの5類感染症への移行などがあり、オンラインからオフラインへの移行が再び起こりました。Goog
DeNA ネットワーク運用監視ツールの紹介 [DeNA インフラ SRE] | BLOG - DeNA Engineering
はじめに こんにちは。IT基盤ネットワークグループの守屋と申します。 主に社内のネットワーク、CDN (Content Delivery Network)関連の業務を担当しています。 今までのブログではネットワークグループで採用しているサービスや、ネットワーク移行についてご紹介してきましたが、 今回は DeNA のネットワーク運用監視で使用してるツールをご紹介いたします。 AWS BYOIP を使った自社 IPv4 運用手法 DeNA での GCP ネットワーク運用 DeNA 本社移転でネットワーク構築・移行作業を実施しました DeNA のネットワークについて ネットワークは障害や品質が悪いと複数のサービスやユーザに影響を与えます。 そのため、24/365体制で、業務を円滑に進められるようなネットワークを運用監視することがネットワークグループの基本方針となります。 ただし、リソースは有限な
![DeNA ネットワーク運用監視ツールの紹介 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b9acf5c47daa7b9d974947691fc12da8b40f44f/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2024%2F10%2Fdena-network-monitoring%2Fcover.png)
【エンジニアの日常】エンジニア達の人生を変えた一冊 Part1では大変ご好評をいただきました。 今回はPart2としまして、弊社エンジニアの人生を変えた一冊をご紹介いたします。 ぜひ、読書の秋のお供としてご参考にしていただければ幸いです！ 人生を変えた一冊 SRE サイトリライアビリティエンジニアリング―Googleの信頼性を支えるエンジニアリングチーム プログラマが知るべき97のこと この本を読んだきっかけ Clint Shankさんのエッセイ「学び続ける姿勢」 Karianne Bergさんのエッセイ「コードを読む」 この本から学んだこと Clean Coder プロフェッショナルプログラマへの道 まとめ 人生を変えた一冊 SRE サイトリライアビリティエンジニアリング ―Googleの信頼性を支えるエンジニアリングチーム SRE サイトリライアビリティエンジニアリング ―Google
こんにちは、『freee技術の本』編集長のWaTTsonです。 先日のブログ記事で、技術書典17で『freee技術の本』の第2弾を出すことを発表しました。 developers.freee.co.jp 前回の記事では概要だけを公開していましたが、書影や目次などの詳細を公開します！ 『freee技術の本 freeeにおけるマルチプロダクト開発 ～モノリシックとマイクロサービスの狭間で～』 目次 第I部 freee のプロダクトアーキテクチャと開発 第1章 成熟したプロダクトの大規模リアーキテクチャ～統合分離への挑戦～ 第2章 インタビュー: 新しい業務システムを作るために必要な思想を巡って 第II部 マルチプロダクトを構成する要素 第3章 アクセス制御基盤 第4章 ワークフロー基盤 第5章 通知基盤 第III部 freee のプロダクト開発を支える基盤チーム 第6章 マイクロサービスにおける
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Repro で遭遇した Aurora MySQL にまつわるトラブル 5 選 - Repro Tech Blog
AWSアカウントを取り違えないための試み - KAYAC Engineers' Blog
Googleを退職します - YAMAGUCHI::weblog
【エンジニアの日常】エンジニア達の人生を変えた一冊 Part2 - Findy Tech Blog
『freee技術の本』第2弾の詳細を公開します！ - freee Developers Hub