[MySQL][Python]8000万レコードをInsertする | Momentum
概要 ・とある物件で8000万弱のレコードを新規のDBに効率的にぶち込む方法を考える必要に ・MySQL(Amazon RDS) + Python(mysql.connector)を想定 ・mysql.connector + pythonについては拙文ながら(http://nekopuni.holy.jp/?p=927)に書いております。 ・コミットの位置には気をつけよう + Multiple Insert最強ねというお話。 方法その1 まずは最初にやった方法。1レコードごとにInsertしてコミットしていく方法。 今までDB関連でやったコードはレコード量も大したことなかったので以下の方法でも特に問題なかった。 具体的な環境としてはテキストデータ(csv)を読み込み、それをDBにInsertしていくというもの。 csvの中身は日付(DATE)とデータ値(VALUE)がカンマ区切りになってい
Kirishiki Studios
事業内容 個人事業主として、ウェブシステム・ウェブアプリケーションの開発・運用（受託）を行っています。 自己紹介 名前: 山田直行(Naoyuki YAMADA) 屋号: 霧敷スタジオ(Kirishiki Studios) ハンドルネーム: hanputu Github Twitter Blog Blog(old) Note Facebook LinkedIn SlideShare SpeakerDeck YOUTRUST 勤務先/取引先(2024年6月時点) 株式会社ナイルワークス(正社員) ドローン開発部 シニアエンジニア 株式会社サイバーエージェント(業務委託) AILab 経済学社会実装チーム リサーチエンジニア 他 業務委託 1社 興味・スキル バックエンド寄りのウェブアプリケーションエンジニア。 小さな開発チームでの立ち上げから長期の運用まで、ウェブサービスの開発過程全般に興味
PythonからMySQLを使う - Qiita
そろそろオワコン感が出てきそうなMySQLですが、 まだ普通に使うのでPythonからの使い方をメモっておきます。 ライブラリのインストール MySQL-pythonを使います。 ちなみにこのライブラリはMariaDBにも対応しているらしいです。 import MySQLdb # DBへログイン # localhostの場合は省略可 connection = MySQLdb.connect(db="test",user="test") cursor = connection.cursor() # SQL cursor.execute("select * from users") result = cursor.fetchall() for row in result: p row[0] cursor.close() connection.close()
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
