本番環境で動作している（はずの）selectを叩いてサービスを落とした話 - Qiita

この記事は本番環境でやらかしちゃった人アドベントカレンダー20205日目の記事です。 去年の投稿を見て自分も過去色々やらかしてしまったなあという反省と懺悔の元今回参加させていただきました。 TL;DR 当時新卒1~2年目だった自分にあるミッションが課せられました。 当時関わっていたサービスに いわゆる一覧画面 + ページングで表示機能を実装している箇所がありまして、表示速度改善に取り組みました。 特に特定のカテゴリページの2ページ目以降の表示速度がかなり遅く、タイムアウトが頻発していたという状況でした。 Qiitaでいうところのタグフィードのようなものと思っていただけるとありがたいです。 何をしたか どの程度遅いかをまず調べようと、APIからDBに流れているはずのタイムアウトしているselect文をAPIと同様にRead Replicaにたたきました。 ちなみにデータベースはMySQLでし

[saikyo_tongaricorn]

本番環境そのものにカジュアルにアクセスできるケース多いネ！

[masalib]

本番の環境でselectを叩いたら、参照ロックがかかってバッチがコケた事がある。再実行のためにその履歴を消そうとしたら削除ログがいっぱいになり他の書き込みがエラーになったという悲しい事を思い出した。

[masatomo-m]

replicaだからええやろと思って本番システムが使ってるDB replicaに直接繋ぐ設計する人、昔から無くならないんだよな。他にもGUIツールがトランザクション張りっぱなしにしてreplicationが止まってサービスが落ちた例を見たな

[greenbow]

調査時にだけ発生した理由がよく分からなかった。アプリケーションから投げたクエリはタイムアウトで kill してたから大丈夫だったってことかな？

[rryu]

なにげないSELECT文でも対象テーブルの行数が膨大だとCPUとメモリを食い尽くしてなにもできなくなったりするので何であっても本番環境での作業は死と隣り合わせである。

[nil0303]

パフォーマンステストやってないだろこれ。根本原因そっちな気もするが。/別環境を用意できてない以上、今後データが増えていった想定のテストができないので、またパフォーマンス面の問題出てきそう。

[prbaybe]

謝罪の念とはw 飛ばしてんのかな？

[katzchang]

“安全に壊せる環境を用意する” 砂場便利

[kvx]

会社名出してqiitaに載せることがやらかしにならないか心配になってきた

[meganeya3]

審美眼とは