[MySQL][Python]8000万レコードをInsertする | Momentum
概要 ・とある物件で8000万弱のレコードを新規のDBに効率的にぶち込む方法を考える必要に ・MySQL(Amazon RDS) + Python(mysql.connector)を想定 ・mysql.connector + pythonについては拙文ながら(http://nekopuni.holy.jp/?p=927)に書いております。 ・コミットの位置には気をつけよう + Multiple Insert最強ねというお話。 方法その1 まずは最初にやった方法。1レコードごとにInsertしてコミットしていく方法。 今までDB関連でやったコードはレコード量も大したことなかったので以下の方法でも特に問題なかった。 具体的な環境としてはテキストデータ(csv)を読み込み、それをDBにInsertしていくというもの。 csvの中身は日付(DATE)とデータ値(VALUE)がカンマ区切りになってい
Kirishiki Studios
個人事業主としても活動するソフトウェアエンジニアの山田直行の個人ホームページです。 事業紹介・自己紹介はこちら -> About Posts Jul 21, 2025 Claude Code GitHub Actionsでアプリ開発を試した Jun 13, 2025 Ruby 3.4でCircularArgumentReferenceエラーがなくなった May 5, 2025 ナイルワークスを退職しFaciloに入社。転職活動の振り返り Apr 10, 2025 FigmaのMCP ServerでReact Componentを作ってもらうのを雑に試した Apr 10, 2025 従業員が全員タイミーであることの意味って？ Apr 9, 2025 SQLの三値論理の挙動をRuby + sqlite + activerecord + bundle/inlineで確認する Apr 8, 202
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
