これは、私が若…くはないけどピカピカのAWS1年生だった、数年前のお話です。 何をやらかしたのか やらかし前の状態 本番運用しているWebアプリケーションの裏側に、EC2インスタンス3台でクラスタを組んだ某データストア製品を使用していました。データはクラスタ内でレプリケーションされており、1台がダウンしただけならクラスタは稼働を継続できます。2台がダウンするとクラスタ全体が機能しなくなります。 ある日、3台のうち1台で障害が発生してインスタンスへ疎通できない状態になりました。この時点ではクラスタは正常に応答しており、あと1台ダウンしない限りはサービスに影響が出ない状態でした。 まず、ダウンしてしまったインスタンスを再起動して復旧させようとしました。ところがEC2マネジメントコンソールから再起動、停止を選択しても障害中のインスタンスは反応しません。そして私は間違いを犯します。 やらかしたこと

この記事はSmartHR Advent Calendar 2020 11日目の記事です。 僕のお手伝いしているSmartHRでは、毎週バックエンドエンジニアが集まり、技術的なトピックについて共有、相談しあうミーティングを開催しています。そのミーティングでは僕がTipsなどを共有するコーナーが常設されています*1。 このエントリでは、そのコーナーで共有した内容をひとつ紹介します。 APIに制限をかける方法について APIを外部に提供するとき、一定の制限をかけてユーザがAPIを乱用するのを防ぐことはよくあることではないでしょうか。素直に考えると「1時間に5000回までAPIを実行できる」のようなやり方を思いつきますね。GitHubのAPIもそのやり方ですし、SmartHRのAPIも同様です。 じゃあそれでいいのでは。となるかもしれませんが少し待ってください。いろんなクライアントがAPIを大量に

10日午後、埼玉県川越市の立体駐車場で、乗用車がフェンスを突き破り宙づりの状態になりました。消防によりますと、運転していた70代の男性は救助されけが人はいませんでした。 10日午後1時すぎ、川越市のデパート「丸広百貨店」の立体駐車場で「車がフェンスを突き破った」と近くにいた男性から通報がありました。 消防によりますと、乗用車は駐車場の2階部分のフェンスを突き破って電線に引っ掛かり、車体の半分以上が宙に浮いた状態になったということです。 消防はワイヤーで車を固定したうえで、運転していた70代の男性を後部座席から救助し、男性にけがはないということです。 ほかに巻き込まれた人もいませんでした。 現場は、西武新宿線の本川越駅のすぐ近くで周辺ではとおりかかった人たちが足を止め、不安そうに様子を見ていました。 30代の男性は「昼間も人通りがある場所で、タイミングによってはあわやというところだったので車