MySQLで3億レコード物理削除した話 - Qiita

はじめに こんにちは。webエンジニア社会人をしている ningenMe です。 タイトル通り。MySQLで3億レコード物理削除した話。 ちょっとハマったので備忘録。 はじまりはアラート はじまりはアラートだった。 僕が運用・保守しているバッチサーバでは、mysqlからちょうど直近1ヶ月分のデータを毎日1回selectする定期処理をしている。 いつもなら1時間程度で終わる処理のはずが、その日は7,8時間経っても終わらずアラートが鳴り止まない.....。 原因追求 とりあえずリトライしたり、ログ見たりしたもののあんまり悪いところがなかった。 クエリもちゃんとindex効いてる。なんでだろうと思ったらDBの容量が結構大きくなっていたことに気づいた。 3億5千レコード。インデックスちゃんと効いてたので多分普通に遅いだけっぽい。 必要なデータ取得は1ヶ月分である12'000'000件ほど。このse

[hnw]

新テーブルの方はパーティション切ったんだよね？となってモヤモヤした（新たに削除バッチ回してもいいけど…）

[nilab]

新しいテーブルに少しずつレコードをコピーしていく手法。

[yu_fuk]

一見難しくなさそうな事をやっているけど、削除一つとってもテクニックが要るし（ましてや本番環境と推察）、実体験がないかググると意外とヒットしなかったりするので、実は貴重な体験談になると思う。

[bootJP]

パーティショニングしてほしさ

[rryu]

3億レコードになるとインデックスもメモリに乗り切らなくなるという感じなのだろうか。