MySQL 5.6における大量データロード時の考慮点 - SH2の日記

ご縁があってAWS User Group - Japanにお誘いいただき、10月4日に第18回 AWS User Group - Japan 東京勉強会で発表をしてきました。運営のみなさま、当日お越しいただいたみなさま、どうもありがとうございます。 今回は「秋のDB祭り」ということで、MySQLに限らずさまざまなデータベースに関する話題が取り扱われていました。その中でもRedshiftのセッションが複数あり、注目度の高さが伺えました。クラスメソッドさん、EnterpriseZineさんが勉強会の様子を詳しくレポートされています。 第18回 AWS User Group - Japan 東京勉強会 に参加してきた #jawsug ｜ Developers.IO JAWS-UG東京勉強会で濃ゆーい「秋のDB祭り」：企業のIT・経営・ビジネスをつなぐ情報サイト EnterpriseZine (E

[sh2]

毎秒20MBytesぐらいロードしてくれると他の製品と同じ土俵に立てます / id:nekoruri Percona Serverでできるそうです http://www.percona.com/doc/percona-server/5.6/management/innodb_expanded_fast_index_creation.html 本家はまだ http://bugs.mysql.com/bug.php?id=49120

[nekoruri]

mysqldumpの出力がこれを考慮してくれないかなあ。

[YuichiTanaka]

大量データを読み込む時の手順。こんなノウハウがあったのか！

[at_yasu]

ほぉ

[nminoru]

MySQLってETLはないのかしらん。

[yoshi-ken]

MySQL 5.6ではデータ投入後に ALTER TABLE foo ENGINE=InnoDB としてテーブルの再編成を行うと、セカンダリインデックスがかえって断片化してしまうのか。

[tmatsuu]

ほほう。素晴らしい資料。大量データロードする必要性がでてきたときのためにメモ

[ngyuki]

ファイルを削除してもそのファイルをオープンしているプロセスがある限り実際の削除は行われません。逆に言えば、こうしておくことでプロセス終了時に一時ファイルが自動的にクリーンアップされるというわけです

[mumincacao]

そこまですてきな量のでーたはまだ取り扱ったことないから深く考えずにきー制約無効化して入れて制約戻す処理で間に合ってるけど最適解がばーぢょん毎に変わるのはめんどいなぁ．．．〆（´・ω【みかん

[yass]

"MySQLがtmpdirに作成した一時ファイルはlsなどのコマンドでは見ることができません。これはMySQLが一時ファイルを作成したあと、すぐに削除 / lsofコマンドであればMySQLが作成した一時ファイルを確認することができます。"

[potato777]

"MySQLのバージョンによって最適なロード手順が異なる"