shnmorimotoのブックマーク - はてなブックマーク

運用中のサービスに負荷試験を導入した事例の紹介 - KAYAC engineers' blog

SREチーム(新卒)の市川恭佑です。今回は、Tonamelという自社サービス(Web)において負荷試験を導入した事例を紹介します。このエントリは「先送りされがちな負荷試験の導入について心理的なハードルを下げる」ことを目的としています。そのため、事例紹介と銘打っていますが、列挙される事実の独立性よりも文脈性を優先しています。表現が少し冗長に感じるかもしれませんが、負荷試験について距離感を感じている方は是非お付き合いください。負荷試験を導入するに至った経緯 Tonamelは、本格的なリリースから5年以上という、比較的長い運用歴を持つサービスです。まず、何故このタイミングで負荷試験を導入することになったのかについて、その経緯を説明します。ポストモーテムによる気づき（文化的な土台）今年の3月に公開されたエントリにもあるように、カヤックでは着実にポストモーテム文化が浸透しつつあります。

shnmorimoto 2022/12/01

リンク

SREチームでポストモーテムを1年半運用してみた - KAYAC engineers' blog

SREチームの藤原です。今回は、SREチームが主導してポストモーテムを書く取り組みを、社内で1年半ほど運用してみたという話です。ポストモーテムとは? 「ポストモーテム」(postmortem=事後検証)とは、システムにインシデントが発生したことによる影響、緩和や解決のために取られた行動、インシデントの原因、再発防止策などをまとめた文書です。カヤックのSREチームは、各メンバーがそれぞれのプロダクトに参加し、他のエンジニアとともに開発と運用を行う、いわゆる「Embedded SRE」という形態を取っています。そのため、SREチームのメンバーでも自分が関わっていないプロダクトで発生したインシデントについては詳しく把握できないことがありました。SRE以外で運用に携わっている、プロダクト専任のサーバーサイドエンジニアにはなおさら困難でした。また、インシデント発生時に実際に手を動かす人がどうし

shnmorimoto 2022/03/22

SRE

リンク

Amazon ECS タスクのイベントとログを時系列で出す tracer を作った - KAYAC engineers' blog

SREチームの藤原です。KAYAC Advent Calendar 2021 4日目の記事です。早速ですが Amazon ECS をお使いの皆様、何か新しく起動したい ECS タスクがあって、タスク定義を書き起こして(もしくはマネージメントコンソールで定義して)、一発で起動に成功できますか？？ ……なかなかこれが難しいんですよね。ということで、とある ECS タスクに関連するイベントとログを全部時系列で出力するツールを書きました。どうぞご利用ください。 github.com 以下はそこに至るまでの背景です。 ECS タスクが立たない。なぜだ！自分は Amazon ECS を業務で使い始めて早4年になります。新規プロダクトはもちろん、かつて EC2 で動いていたワークロードもほぼ全て ECS に移行しました。 ECS デプロイツール ecspresso の開発者でもあるため、日々機能ア