本番環境でやらかしちゃった人 Advent Calendar 2019 - Qiita
本番環境でやらかしちゃった人のアドベントカレンダーです。 例） 本番DB吹き飛ばした 本番サーバをデストロイした ネットワーク設定をミスって本番サーバにアクセス出来なくなり、サーバが世界から孤立した などなど... 以下の２点については必須項目なので、記述お願いします。 惨劇はなぜおこってしまったのか 二度と惨劇を起こさないためにどうしたのか もう二度とあの惨劇を繰り返さないために、みなで知見を共有しましょう。
本番環境でやらかしちゃった人のアドベントカレンダーです。 例） 本番DB吹き飛ばした 本番サーバをデストロイした ネットワーク設定をミスって本番サーバにアクセス出来なくなり、サーバが世界から孤立した などなど... 以下の２点については必須項目なので、記述お願いします。 惨劇はなぜおこってしまったのか 二度と惨劇を起こさないためにどうしたのか もう二度とあの惨劇を繰り返さないために、みなで知見を共有しましょう。
本番環境でやらかしちゃった人のカレンダー | Advent Calendar 2020 - Qiita
昨年非常に盛り上がっていましたので作成させていただきました。 本番環境でやらかしちゃった人のアドベントカレンダーです。 例） 本番DB吹き飛ばした 本番サーバをデストロイした ネットワーク設定をミスって本番サーバにアクセス出来なくなり、サーバが世界から孤立した などなど... 以下の２点については必須項目なので、記述お願いします。 惨劇はなぜおこってしまったのか 二度と惨劇を起こさないためにどうしたのか もう二度とあの惨劇を繰り返さないために、みなで知見を共有しましょう。 過去 本番環境でやらかしちゃった人 Advent Calendar 2019
インターネットで実名でレスバしてたらISPの社長から脅迫された話。そして17年後… - rna fragments
「インターネット老人会 Advent Calendar 2023」3日目の記事です。 「インターネット老人会」ということで、今日は日本の商用インターネット接続サービスが始まった前後の頃の話をしたいと思います。 今日は fj の話をしようと思うがその前に… インターネットで必要なことはすべて NetNews で学んだ fj というバトルフィールド fj で議論した相手から脅迫される そして17年後… 因縁の再戦 最後に 今日は fj の話をしようと思うがその前に… インターネットと言えば今は Web *1 のことですが、Web が普及する以前、1990年代初頭から世界規模のネットコミュニティが既にあったことをご存知でしょうか。その名を NetNews といいます。 NetNews は一言で言うなら公開メーリングリストのようなものです。あるいは分散型掲示板とも言えるでしょうか。メッセージの形式
この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の4日目です。年末進行、いかがお過ごしでしょうか？みなさま無事に仕事が納まることを願っております… 新人インフラエンジニアが、本番ウェブサーバー60台のホスト名を全部 cat にしてしまった話について、ここに供養させていただきたいと思います 背景 おそらく今から7年くらい前、インフラエンジニアとして転職してきて1年ほどが経ち、本番環境での作業もこなれてきたなというバッチリのタイミングで事を起こしてしまいました。サーバーは CentOS 6 だったと思います。 職場としてはまだまだベンチャー感にあふれ大きな裁量が与えられスピード感のある環境ながら、サービスの登録ユーザー数は1,000万を超え、本番環境の規模としては既になかなかの大きさがあり、ウェブサーバーだけでも60台くらいあったと思います。ひと山につき
いつものように本番作業してたはずなのに - Qiita
この記事は「本番環境でやらかしちゃった人 Advent Calendar 2019」の1日目です。 https://qiita.com/advent-calendar/2019/yarakashi-production なかなか濃いラインナップが期待されますが、まずはさらっといきたいと思います。 具体性が乏しい部分もあると思いますが、そこはお察しください。。。 やらかし 背景（前提条件） いっていに昔の話です ETL（データ加工）サーバ 数十を超えるシステムからデータを集める BIツールなどで活用できるように各種加工処理を行い、DBなどにロードする 繁忙の違いはあれど、24/365で常時一定量の処理は稼働している 複数のチームが共存しているサーバ アプリ面では比較的疎 ETL処理のリリース前に本番サーバ上で試験をする取り決めになっていた 性能や本番相当データのテストが安全に行えるような環境
（この記事は 地平線に行く とのマルチポストです） 本番環境でやらかしちゃった人 Advent Calendarで、このパターンのやらかしはなかったのでキーボードを叩くことにしました。 番外編のつもりでお楽しみください。 この記事が、新たな障害発生を防ぐことにつながれば幸いです。 何をやったのか ある日、ちょっとした調査のために本番データベースのデータを確認することになりました。 （個人情報が格納されているようなシステムではなかったので、必要であれば本番データベースへのアクセスが許されていました） もしメンテナンスがあればそのタイミングでやればよかったのですが、直近では特に予定はないとのことでした。そのため、システムが動いている状態のまま作業をすることにしました。 ごく単純な SELECT を実行するだけのつもりだったので、システムに影響がないと判断したためです。 その際、万が一コピペをミ
2019年にブックマークしたページでよかったもの集めた - Really Saying Something
2013年から毎年、「年ごとにブックマークしたURLでよかったもの集めた」と題して、1年分の「自分がブックマークしたページ」*1を振り返り、まとめています。2018年分は以下です。 2018年にブックマークしたURLでよかったもの集めた - Really Saying Something 完全に「私得」なまとめなのでカテゴライズなどは一切しておらず、主に自分のブックマークした順番となっています。そのため、春ごろの記事が冬にいきなり登場したり、日付が前後していたりします。私の脳内に「その時こういうこと考えていたな～」という記憶を作るインデックスだからです!!! 何も考えずに見直したら、昨年よりは250ほど少ないので、そこからはあまり精査せずえいっと公開してしまいます。 基本的には、以下の基準で選出しています。 当年に作られたエントリーであること Wikipediaや当年に作られたことが明確で
この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015年11月27日、入社27日目のこと。 gitの設定ミスにより壊れたブランチをmasterにforce pushしてしまい、CIが流れて本番環境が壊れた。原因はpush.defaultなのだが、詳しくはすでに記事を書いているのでそちらを読んでほしい。 2回目は翌年9月1日、入社してちょうど10ヶ月たった日のことだ。 またしても本番環境をぶっ飛ばした。しかも、前回より盛大に……。 タイトルにもあるようにrsyncコマンドが原因だ。 当記事では、この「rsy
筋肉マージは辞めよう - Qiita
追記2 2019/12/04 21:00 こんなよくわからない記事をご覧いただきありがとうございます。 この事件を起こしたのは1年前で、Gitを使いはじめて1ヶ月のときに下記の事件を起こしてしまっていてとても混乱していたのを当時覚えています。 内容については、rmをしたかもしれないという記事に結果的になったかもしれませんが、私の記憶ではファイルを消した記憶はありません。 ただ、当時作業していたディレクトリもないのでコマンドを確認する手段がないため一番濃厚なrmをしたというのを今回の結論にしました。 曖昧さは申し訳ありません。 また、意見、感想、批評には全て目を通させております。伝わりにくい内容やわかった事実は適宜編集してできるだけ皆さんに伝わるよう善処いたしますのでどうぞよろしくお願いします。 追記2ここまで 追記 2019/12/04 13:00 1.本番環境でやらかしちゃった人 Adv
はじめに さっぶ。どうも、だーやまんです。 この記事は、本番環境でやらかしちゃった人 Advent Calendar 2019 - Qiitaの11日目の記事です。 これは、中途半端な知識でサービスを運用していた結果、タイトル通りの大失敗をしてしまったお話です。個人開発での出来事なので、業務で起きたことかと胃薬を握られていた方はご安心ください。 語るのもすごい恥ずかしいレベルですが、戒めのために晒しておきます。 この記事を読んでほしい人 初めてインターネット上にサービスを公開しようとしている人 喋太郎の利用者様(この場をお借りして、改めてお詫び申し上げます。本当に申し訳ございませんでした。) 背景とか Discord読み上げBot 「喋太郎」にてやらかしました www.dayaman.work 利用者が約10万人 さくらのVPSにてAppサーバ2台、DBサーバ1台で運用 各サーバの死活監視
この記事は「本番環境でやらかしちゃった人 Advent Calendar 2019」の12日目です。 https://qiita.com/advent-calendar/2019/yarakashi-production （想像以上に人気のカレンダーに参加してしまい、正直なところ、戦々恐々としております……） はじめに ほとんどの方ははじめまして、 @NACK と申します。 エンジニアになって何十年も経ちますが、未だに、ここに書いた「やらかし」は夢に見ます。 皆さんにご笑覧いただいて、私も一緒に笑えるようになればいいなあ……と思い、今回の企画に参加させていただきました。 というわけで、ぜひ笑いとばしていってください。もしくは、今後のみなさんの業務に、ほんの少しでもお役に立てれば幸いです。 用語説明 typoとは 入力ミスのこと。"typographical error"の略。 http:/
この記事は本番環境でやらかしちゃった人のアドベントカレンダー9日目の記事です。 https://qiita.com/advent-calendar/2019/yarakashi-production もう15年以上前の事なので記憶も定かではないところがありますが、ご容赦下さい。 当時の状況 当時自分は30人くらいの、孫請・曾孫請を中心に受託開発を行う小さなSIerに居ました。 この会社、自社製品も一応あるのですが売上のメインは圧倒的に受託開発で、 PHPやPerlでのガラケーサイトの開発やら、Javaや.NETを使った業務アプリケーションの開発、大手プロバイダシステムの開発保守など、わずか3年ほどの在籍期間でしたが、実に多彩な開発案件があったように思います。 プロジェクト内容 あるWebサイトのシステム移行でした。 Windows Server上に構築されたIIS+ASP+SQL Serv
こんにちは。アドカレ12/24の記事を簡単にではありますが書かせていただきました。(25日のポストで遅刻ですが) Digital Identity技術勉強会 #iddanceのカレンダー | Advent Calendar 2023 - Qiita はじめに 本日のテーマ：思わず天を仰いでしまうID関連システムトラブル 本日のテーマは、みんな大好き「トラブル」の話です。CIAM(Consumer Identity and Access Management)領域のさまざまなシステムにさまざまな立場で関わり、さまざまなトラブルに遭遇してきた経験を踏まえて、クリスマスの合間の気楽な読み物として記載しましたので、一息ついていただければ幸いです。 今回はトラブルの中でも思わず「天を仰いでしまう」激ヤバトラブルにフォーカスして、私的ランキング形式でお届けしたいと思います。 天を仰ぐトラブルとは？ 私
はじめに 「株式会社じげん Advent Calendar 2021」17日目を担当します、きあ（Chia）です。 エンジニアとしてプロダクトの開発・運用保守をしつつ、SEO・CROといったマーケティング施策の立案・分析も担当しております。 今回は、エンジニアとマーケティングの両方を担当している私から、「Google Search Console」（以下サーチコンソール）で、エンジニアが見ておくとサイトの改善効率が上がる機能を5つご紹介します。 このような方に向けた記事です 自社でWebサービスを開発・運用しているエンジニアの方 サーチコンソールにどのような機能があるか知らない方 基本的な機能の紹介、見ていく上での簡単なポイントの紹介となります。 普段からサーチコンソールを見る習慣がある方、またWebサービスの運用に関わっていない方にはあまり役立てないかもしれません。 用語について 記事中
本記事は「本番環境でやらかしちゃった人 Advent Calendar 2021」24日目となります。 前提事項 事故を起こしたのは確か6年くらい前 サーバーのOSは確かCentOS6 諸事情でワンオペだった 当時の記憶を元にした再現であり多少盛ってるので細かいツッコミは勘弁してください 何をしてたか ～～～本番環境作業中～～～ (手順書ﾅｶﾞﾒｰ) よし、次はファイルの移動か mvコマンド入力してｶﾁｬｶﾁｬｶﾁｬ…ｯﾀｰﾝ mv: cannot move /bin/ac to '/home/user/work_dir': Permission denied mv: cannot move /bin/aconnet to '/home/user/work_dir': Permission denied mv: cannot move /bin/addr2line to '/home/us
この記事は「本番環境でやらかしちゃった人 Advent Calendar 2019」の7日目です。 qiita.com 個人の趣味でやっていたやらかしなので、あまり大した内容ではありませんがご容赦ください。。 背景 趣味で運用していたVPSのサーバをGKEに移そうとしていました。 段階的に移行を進めていたため問題が発生した時点ではapp群はVPSで動いており、Cloud DNSのみGCPに移行済みな状態でした。 なぜ起こったのか Firebaseのプロジェクトを消してしまい、それに伴ってGCP側のプロジェクトも消えてしまいました。 背景に記載した通り、段階的に移行を進めていたことと以下のような理由が重なり消した直後は気づいていませんでした。 HTTPアクセスによる外形監視を入れていなかったため、VPS上のサービスが接続不可になっていることに気づかなかった VPS上のプロセス監視(macke
AWSのWEBコンソールでミスって本番を消した話と戻すまでの15分間の話 - まぁ、つまらないものですが
この記事は「本番環境でやらかしちゃった人 Advent Calendar 2019 - Qiita」の13日の記事です。 気軽な気持で登録したらカレンダーTwitterでバズリ、出てくる記事もみんな面白いので、「おいおいおいおい、俺はなんてものに登録してしまったんだ」と反省している深夜21時です。みんな文豪か? というわけで、こんにちは。godanです。 これは本当にくだらないミスで本番を消した人間の悲しい15分を思い出しながら書いた記事です。皆様にあたっては穏便に他山の石にしていただけると幸いです。叩かれたり炎上したりしないよう気をつけていますが、なにかあれば教えていただけると幸いです。 結論。 本番には削除保護フラグを立てておこう Webコンソールで横着して複数作業するのはやめておこう サーバー名は誤解しないようにしておこう ここから以下ポエムです。 背景。 某月某日 普段リモートワー
この記事は本番環境でやらかしちゃった人のアドベントカレンダー14日目の記事です。 多少フェイクを入れているので整合性のおかしい部分があってもご了承ください。 https://qiita.com/advent-calendar/2019/yarakashi-production 背景 モバイル版だけでMAUxx万人のそこそこ規模の大きいサービス。Android/iOS/Webの３プラットフォームで提供。 開発元が撤退済みで、運営元から協力を依頼されとりあえずWeb以外の面倒を見ることに。２社にバラバラに開発を頼んでいたようで、なぜか変なところでAWS環境が２つに別れている。 色々と設計が荒く、ドキュメントもないのでアプリの追加開発の片手間でアーキテクチャの全容把握と改善計画を練っている途中の状況 新規登録時の確認メール、パスワード再発行メールでAWS SESを利用（メール利用はそれだけと認識
![[AWS] Amazon SESのアカウントが止められちゃった話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e2c2d7374be70976b45571387c889cfd4512639/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTVEJTIwQW1hem9uJTIwU0VTJUUzJTgxJUFFJUUzJTgyJUEyJUUzJTgyJUFCJUUzJTgyJUE2JUUzJTgzJUIzJUUzJTgzJTg4JUUzJTgxJThDJUU2JUFEJUEyJUUzJTgyJTgxJUUzJTgyJTg5JUUzJTgyJThDJUUzJTgxJUExJUUzJTgyJTgzJUUzJTgxJUEzJUUzJTgxJTlGJUU4JUE5JUIxJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0yZmI0MzBiMGMyZTQ2MTcyNTJjODRlYjAwZmI0MWYzOQ%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB1bmRvcm9pZCZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MDlkNDM4MzgyZjFhYzQwMTQzOTQzZjk5ODUxNTIxMGI%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3Deb50f7643d0442aa6f2f3662053aee82)
はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023の11日目です。 どうも、@_tinojiと申します。実に4年ぶりにアドベントカレンダーに参加しました。 正規表現で1文字消し忘れて、なんぴとたりともサービスにログインできない状態にしてしまったという話をします。正規表現にはまじで気をつけましょうという教訓になれば・・・ 犠牲となったログイン画面 とあるtoBなWebサービスを開発していたときの話です。法人のユーザーが使う管理画面的なイメージです。 当然ログイン機能があって、至って普通なログインなのですが1つだけ特徴がありまして、ログイン画面のURLをアカウントごとに変えています。https://example.com/<uuid>/loginみたいな感じですね。 あまり見ない形式ではありつつも、個別のUUIDを特定されない限りログイン画面に対し
本番環境でやらかしちゃった人 Advent Calendar 2019 16日目の記事です。 内容はタイトルの通りです。 10年前くらいの話なので少しふわっとした部分もあるかもしれませんが、ご了承ください。 その当時やっていた業務内容 システムのサーバー移行作業 東京のとある会社で、とあるシステムのサーバー移行の作業をしていました。 そのシステムは大阪にあるデータセンターの物理サーバーで動いていて、今使っているサーバーの使用期限が切れるため、新しいサーバーへ移行するというものです。 客先常駐で、クライアントさんとやり取りしながら仕事をしていました。 ちなみに当時の僕はエンジニアになって2年目くらいの時期でしたが、大手SIerでのシステム移行のを1作業員として経験(手順書通りにコマンドを実行したりする)したくらいの状態で、まともにプログラムやコンソールを業務で触るのは初めてでした。 今回の事
こちらは 「本番環境などでやらかしちゃった人 Advent Calendar 2023」 22 日目の記事になります。 はじめに Happy Coding!🤶 みなさん年末いかがお過ごしでしょうか。 私は卒論の抄録執筆が終わらないし、今年体調崩しまくってるしで泣きそうです😭 この記事では「Docker が俺の Postgres を勝手に全世界に公開しやがって色々怒られた話」について述べていきたいと思います。 ※所属団体の関係で、技術的な話以外のところの一部で詳しく話せないところはぼかしたり、デタラメなことで置き換えたりしています。ご了承ください。 背景 私は大学 4 年で、働いているという訳でもなく、 個人やちょっとした団体で Web アプリや API サーバなどを作って、みんなが使えるようにしています。 今回は数年前に起こった、とある団体でのお話です。 サービス構成 そこではオンプレ
全国100万人のエンジニアの皆さんこんにちは、デプロイしてますか？ この記事は、本番環境でやらかしちゃった人 Advent Calendar 2019の5日目の記事です 予想以上にこのアドベントカレンダーが注目されてて、書きながら「これ炎上しないよね…」「なんかマズイこと書いてないよな…」と胃が痛くなってます 自分みたいなザコメンタルにはつらい…めっちゃやむ… この記事はただの不注意が原因のやらかし話です 過度な期待はしないで下さい 追記 さすが3000人以上に購読されてるアドベントカレンダー、アクセス数がすごいことになってますね…怖い… いくつかコメントや言及を頂いたので、追記というのをしておきます テスト環境ないの？ あります タスクAに関してはテスト環境での動作チェックが不十分だった タスクCに関しては焦ってて動作確認せずに出しちゃった(「まぁこれくらいの変更なら大丈夫でしょ」という
こんにちは。もぐめっとです。 旅に出るとこのI love ****シリーズのシャツを買うのが割と好きです。 最近、久々にAWS触ったらまるっとデータをふっとばしてしまったので戒めのために原因と対策を記しておこうと思います。 この記事は本番環境でやらかしちゃった人 Advent Calendar2021の3日目の記事になります。 なぜデータが吹っ飛んだのか 原因としては2点あります。それは無知と慢心です。 経緯として最近引き継ぎをうけた某スタートアップが作成したサービスを改修しようとしていたところから始まります。（サービスとしては既に停止済み） 最初にインスタンスを止めてインスタンスサイズを変えようとしたのですが、あろうことか、「インスタンスの終了」を選択してしまいました。 実はEC2には停止と終了の２つの言葉があり、シャットダウンだけだと停止を選ばないといけないのです。 どちらも一緒や！！
はじめに こんにちはkappa0923です。 普段はSierでクラウドアーキテクトをしています。 この記事は「本番環境でやらかしちゃった人 Advent Calendar 2020」20日目の記事です。 今回はAWSの設定をミスったために普段の10倍以上の料金を請求されるに至った経緯と、その対策について記載していきます。 お断り この記事はあくまでもノウハウを共有して、同様にやらかす人を少しでも減らすことを目的としています。 記事の内容はあくまで個人の見解であり、所属とは関係ありません。 また、多少のフェイクを混ぜますので、あらかじめご了承ください。 発生背景 とあるWebシステムをAWS上で構築し、開発・運用を行っていました。 このWebシステムではバッチ処理を並列で行うため、複数の小さいEC2インスタンスを作成→実行→削除という構成をとっていました。 これにより必要ない時間はEC2イン
さよならした本番サーバを復帰させてみる
今年のAdvent Calendarで注目を集めているのが、 本番環境でやらかしちゃった人 Advent Calendar 2019だ。自分は宗教行事には参加しない主義なのでAdvent Calendarに記事は書かないが、このシリーズはちょっと見逃せない。で、本稿では12月3日に公開されたこちらの記事を取り上げたいと思う。 さよなら本番サーバー トラブルの原因は何かsshログインできなくなったそもそもの原因は、~/.ssh/authorized_keys へのパーミッションが不適切になってしまったために、sshdがログインを拒否する状態になったということだ。そのきっかけになったのが、クライアント（依頼主）からのCSVファイルの取得依頼だったという流れだった。実験サーバを立てて、これを模してみよう。 [north@sayonara ~]$ chmod og+w /home/north [n
俺「すっげぇいい名前のライブラリ思いついた！！」 俺「npm あるかな？あるかな？」 （カタカタ） 俺「なかった！よっしゃ一番乗りや！！！今すぐ作らないと！！！」 俺「npm init enter enter enter enter npm publish うおおおおおおおいっけぇぇぇ！！！！！！！」 （ｶﾀｶﾀｶﾀｶﾀｶﾀｶﾀｶﾀｶﾀｯﾀｰﾝ） 俺「ミ゜ッ！」 ーーー おはようございます。本番環境でやらかしちゃった人 Advent Calendar 2019の 23 日目を担当する、@sandessOjisanです。この記事では 思いもよらないものを npm publish したお話 を紹介します。 僕は あるとき 色々な会社の仕事を請け負っていた時期があり、そのときの無邪気なnpm publishによって、良くないことをしてしまったというお話しです。このコマンドを叩くといきなり本番環境
ご挨拶 初めまして @moriya-snj です。 この記事は「本番環境でやらかしちゃった人 Advent Calendar 2019 - Qiita」の15日目の記事です。 みなさん盛大にやらかしている様で安心しております。 今回は私が社会人3ヶ月目でやらかした重大事故の記録を包み隠さず暴露するとともに当時フォローしてくださった先輩や上司お陰でなんとかこの業界で生き抜くこと出来ていることの感謝をお伝えすべく、キーボードに手を伸ばしております。 何をしでかしたか 顧客AがIP電話を導入するため、新たにVoIP用ネットワークを構築することとなった。 機器の設置等は別部署が行うため、設置依頼を出し、完了の報告をもらったため、ネットワーク機器のコンフィグなどを流し込み疎通確認などを行うこととなった。 疎通確認が完了し、お次はVRRPの切替確認を行おうとしたが、ここで誤って稼働中の顧客Bのネットワ
本番環境などでやらかしちゃった人のカレンダー | Advent Calendar 2023 - Qiita
あなたは他のITエンジニアのやらかし話に興味ありますか？ それともあなたが何かやらかしちゃって懺悔する場所を探してますか？ ここは「やらかし」を共有することで深い学びを得て、より明るい2024年にしたい人々が集うカレンダーです。 昨年私も参加することで心に響く学びや、多くの反響をいただくことができました。 「気になる！」「投稿したい！」という方は、まずは上にある購読するボタンを押してください。
先行リリース…？ - Qiita
この記事は「本番環境でやらかしちゃった人 Advent Calendar 2020」の12日目です。参加できて嬉しいです。 https://qiita.com/advent-calendar/2020/yarakashi-production ※この話はフィクションです。また、派手な内容ではありません。 AM8:35 私は某ソフトウェア開発会社でシステムのヘルプデスクを担当している。いつも通りに出勤し、パソコンを立ち上げ、問い合わせメールがないかチェックする。 正確には「開発以外担当」である。体制図にも文字通りそう書いてある。開発担当が「開発の要件が決まってから商用リリースまで」を、開発以外担当が「それ以外」をやる。ユーザニーズをまとめて開発内容を整理するのも「以外担当」であるし、開発担当が作ったバグも、リリース後ならお客様対応含め「以外担当」がやる。あなた方に瑕疵担保責任という概念はない
はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の6日目です。 この記事で取り上げるやらかしは数年前の出来事です。 当時新卒2年目のエンジニアだった私が、ロードバランサ配下のサーバを全部切り離してサービス停止させてしまった話について、ここに供養させていただきます。 自分の失敗談なんて書きとぉないんじゃ、、というのが本音ですが、毎年やらかし系のアドベントカレンダーに勇気と希望をもらっていたので、今年は私もその一助となれたらという思いです。 やらかして死にたくなっているあなたへ。 背景 新卒で入社した会社で社内システム向けインフラの保守運用に携わっていました。 2年目となって仕事にも慣れてきた頃（フラグ）、事を起こしてしまいました。 環境 やらかしの対象となった環境はこちら。 AWS環境上で、ロードバランサとしてELBがあり、その配下にサーバ（
本番環境でやらかしちゃった人のカレンダー | Advent Calendar 2021 - Qiita
本番環境でやらかしちゃった人のアドベントカレンダーです。 2019 https://qiita.com/advent-calendar/2019/yarakashi-production 2020 https://qiita.com/advent-calendar/2020/yarakashi-production 例） 本番DB吹き飛ばした 本番サーバをデストロイした ネットワーク設定をミスって本番サーバにアクセス出来なくなり、サーバが世界から孤立した などなど... 以下の２点については必須項目なので、記述お願いします。 惨劇はなぜおこってしまったのか 二度と惨劇を起こさないためにどうしたのか もう二度とあの惨劇を繰り返さないために、みなで知見を共有しましょう。
本記事はMLOps Advent Calendar 2020の13日目の記事です。 こんにちは。昨年本番環境のComposerでやらかしちゃった人です。今年は比較的平穏に機械学習を使用したサービス開発・運用に携われています。 携わっているサービスの1つで「MLOpsに必要な情報BigQueryに全部おいてみた」ところ想像以上に便利だったので、その方法について共有させてい頂ければと思います。 なお本記事でのMLOpsは 予測モデル/ハイパーパラメータのバージョン管理・デプロイ履歴管理 推論結果の精度監視 + 入力データの傾向監視 を指しています。 特に今年はコロナでビジネス環境が日々絶えず変化しているため、これらの施策がサービス品質担保に大きく貢献してくれました。 背景 毎日一回24時間先までバッチで未来予測し、結果をAPIサーバーにキャッシュする単純なMLサービスに携わっています。なお、予
はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の7日目です。 私はIT関連企業ではないサービス業の人間ですが、IT関連全般のことをやってます。 現在ノーコード開発としてはかなりメジャーな Bubble というプラットフォーム上でサービスを展開しているのですが、そこでのやらかしを共有したいとおもいます。 Bubbleとは Qiitaにはノーコードエンジニアはあんまりいなさそうなので説明します。 Bubbleは、プログラミング知識がなくても使えるノーコードプラットフォームです。ドラッグ＆ドロップでウェブアプリを作れるので、、技術がない人でも簡単にアプリ開発が可能です。このプラットフォームのいいところは、見た目のデザインからデータベースまで、全部自分で作れる点。プログラミングがわからなくても、条件分岐やデータ操作などの複雑なことができます。 B
はじめに これは、ZOZOテクノロジーズ #4 Advent Calendar 2019 13日目のエントリーです。 前回の前編記事に引き続き、Airbnbのエンジニアたちが経験したクラスターでのやらかしをあれこれご紹介します。 6. Where's my Custom Resource?（ワイのカスタムリソースはどこに？） AirbnbではKubernetesのCustom Resourceをよく使用しています。 特に、Kubernetesクラスターの外部にあるが、ストレージ、ダッシュボード、アラート、IAMロールなどのAWSリソースなどのサービスに関連付けられているリソースを追跡するために使っています。 こうしたCustom Resourceを使う上で大変なのが、「そのリソースがいつ利用可能になったか」や、「そのリソースに関する変更がいつ反映されたか」を検知することです。 最初のうちは
2020年にやったこと 2019年にやったこと 2018年にやったこと 2017年にやったこと 2016年にやったこと 2015年にやったこと というわけでこれ毎年書いてるんですけど、 なんか参戦したくなったので Rubyist近況 Advent Calendar 2021 24日目です。 入居者募集 記事があるくらいですし、自由に書こうと思います。メリークリスマス。 発表 1歳児がいる状況で家を留守にしたり夜に声を出したりすると家族に負担がかかるので、録画提出できるカンファレンスにしか基本参加しないことにしているのだけど、コロナが長引いていることにより今年も登壇しやすい状況が続いた。 とはいえ、ハイブリッド開催だったRubyConfに関しては、国内の渡航だけでShopifyのYJITチーム全員 (や当地のRubyフレンズ) と対面で話せる貴重な機会だったので、行けなかったのは惜しいなあと
この記事は本番環境でやらかしちゃった人のアドベントカレンダー9日目の記事です。 https://qiita.com/advent-calendar/2020/yarakashi-production 去年に引き続き、今年も参加させてもらいました。 ※去年の記事はこちら→ データ移行をしただけなのに…（起こってしまったメール誤配信） 今年のネタも15年くらい前の事で、且つ自分が直接関わった事案ではないのですが、「そういやあの事件、今MySQLだったらどうするかな」と思い書くことにしました。 何があったか もうタイトルで出落ちしていますが本番でUPDATE文を実行する際にWHERE句を付け忘れたという事故です。 当時の状況を整理するとこんな感じだったと思います。 対象サービス： 年商10億円くらいの自社サービス 作業内容： 仮登録されている顧客の情報を指定された情報で更新する 作業環境： DB
はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023の18日目です。 もう何年も前のことなのでもうそろそろ時効だろうと思い、誰かの学びになればとここに供養します。 やらかしちゃった出来事 ある日の保守作業 保守管理しているWebシステムの調査のためにOracle Databaseが動いているWindows Serverにリモートデスクトップ接続していました。 調査の過程でデータベースインスタンスにアクセスして状態を確認する必要が生じました。 普段は自分のクライアントPCにインストールしたデータベースクライアントツールでつないで確認していたのですが、その時は横着してサーバーにインストールされていたSQL Developer（OracleのGUIデータベースクライアントアプリ）を起動してしまいました。 固まる画面 じんわり起動していくSQL Deve
この記事はtraP Advent Calendar 2023 14日目の記事です。 はじめに こんにちは。19Bの@kegraという者です。いつもゲーム開発とかWeb開発あたりをやってます。 今日はJavaScript(TypeScript)で最近やらかした割と初歩的なデカいミスを紹介したいと思います。 setInterval()による定期ポーリング 僕は今あるシステムを作っており、そのシステムではクライアントサイドが定期的にサーバーのAPIを叩いて情報を取ってくる感じになっています。いわゆるポーリングです。 クライアントサイドはWebフロントエンドで作っており、僕はこの実装でsetInterval()を使っていました。 setInterval(() => { updateData(); }, 5000); // 5秒おきにポーリング そこで本当にしょうもないのですが、第2引数を書き忘れて
Sign in with Apple を本番でやらかしをしないために考えてみた - Reckless Engineering
認証認可を趣味でやっている@nerocruxです。この記事は 認証認可技術 Advent Calendar 2019 第11日目の記事です。 本番でやらかした人のAdvent Calendarではありませんのでご注意ください。 ...しかしこんなのやったら本番でもやらかしちゃうぞとの指摘があるかもしれませんので予めお詫びをしときます （´；ω；｀）ｳｯ そろそろ Sign In With Apple （以降、SIWA） を実装する時期がやってきました。本番で SIWA を実装したサービスも増えてきました。最近 pocket 以外に、vivinoも実装しており、さらにadobe creative cloudも実装しています（なぜかweb版のみだが）。 またAppleのCEOであるTime Cookさんもわざわざ日本に来てSIWAを実装したTimeTree社をtwitterで褒めたりしていて、
はじめに 機械学習をどう学んだか by 日経 xTECH ビジネスAI② Advent Calendar 2019 13日目の記事です。 本記事はSlideShareで公開した勉強会資料「失敗から学ぶ機械学習応用」 のあとがき的な位置づけの記事です。 おそらく機械学習の勉強法やおすすめ書籍、Kaggle参戦などの話題は他の方がまとめていると思うので、私は機械学習のプロジェクトに関わる中で得た学びを中心に書いていこうと思います。 機械学習をどう学んだか はじめに私が機械学習テーマに配属されてから勉強会発表にいたるまでの遍歴と学び、そしてお世話になった教材をざっくりと振り返ってみます。 ※明確な期間や時期は伏せますが、全体で約4、5年くらいのスパンです。 １．前任者の異動により機械学習テーマを引き継ぐ 機械学習テーマを担当していた前任者が異動し、素人だった私がそのテーマを引き継ぐことになる。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
本番サーバー60台のホスト名を全部 cat にしてしまった話 - Qiita
SELECT文で本番環境を落としたお話 - Qiita
rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜
postgresのデータを盗まれた話 - のんびりやの日記
cron哀歌～typoを笑うものはtypoに泣く～他 - Qiita
データ移行をしただけなのに…（起こってしまったメール誤配信） - Qiita
思わず天を仰いでしまうID関連システムトラブル - =kthrtty/(+blog)
エンジニアも見ておきたいGoogle Search Consoleの機能 5選 - Qiita
半角スペースの有無だけでサーバーをぶっ壊しそうになった話 - Qiita
GCP Projectを消しちゃった話 - 839の日記
[AWS] Amazon SESのアカウントが止められちゃった話 - Qiita
正規表現ミスって一晩誰もサービスにログインできなくしてしまった話 - Qiita
遠方にある物理サーバーのrootユーザーが逝った話 - タケハタのブログ
Docker が俺の Postgres を勝手に全世界に公開しやがって色々怒られた話 - Qiita
待って！そのデプロイ本当に大丈夫？✋ - きりだるまの記録帳
EC2をぶっ飛ばしてデータが全部消えてしまった話 - Qiita
AWSでやらかして3桁万円請求された話 - Qiita
思いもよらないものをnpm publishしてしまった話（前任者の顔写真など） - Qiita
稼働中の商用ネットワークでVRRPの切替検証を実施しちゃった話 - Qiita
ロードバランサ配下のサーバを全部切り離してサービス停止させてしまった話 - Qiita
MLOpsに必要な情報全部BigQueryに置いたら想像以上に捗った話 - Qiita
ノーコード開発なのに盛大にやらかした - Qiita
Kubernetesをぶち壊す10の奇妙な方法 (後編) - Qiita
2021年にやったこと - k0kubun's blog
とあるテーブルの中身を一括更新した話から学ぶPITR - Qiita
不用意にサーバーでアプリを起動してハングアップさせてしまった話 - Qiita
setIntervalの第2引数に気を付けろというだけの話
失敗から学ぶ機械学習応用～Another Story～ - Qiita