たった3秒でInnoDBのデータローディングが快適になるライフハック

MySQLに限った話ではないが、データベース管理システムに大量のデータを投入するのは時間が掛かり大変苦痛を伴う作業である。劇的に効能があるわけではないが、MySQLを利用しているとき、特にInnoDBを使っている場合にはデータの投入を高速化するためにいくつかテクニックがあるので紹介しよう。皆さんの作業時間が短縮され、少しでも早く帰路に着いたりサービスインさせたりという形でお役に立てれば幸いである。ちなみに、タイトルはネタであるのだが、もし本当に3秒で以下の全ての設定を行えた人が居たら教えて頂きたい！ ログファイルサイズの調整データ投入時に限った話ではないが、ログファイルサイズを調整するのは更新性能にとって非常に重要なファクターである。バッファプールのサイズが重要なことに代わりはないが、同じぐらいログファイルのサイズも重要である。InnoDBはログファイルを使い切ってしまうと、バッファプール

[himejimasandesu]

mysql

[teckl]

CSVストレージエンジンを使うとCSVファイルをそのままテーブルとして認識させることが出来るのか

[michael-unltd]

'ログバッファサイズはinnodb_log_buffer_sizeオプションで調整'

[msykt]

こんな技があるのか…。違うエンジンへコンバートできるの知らなかった。“CSVストレージエンジンを使うと、CSV（カンマ区切り）ファイルをそのままテーブルとして認識することが出来てしまうのである。”

[tmatsuu]

#bkstudy こちらもご検討ください

[teketeke_55]

mysqldump

[willnet]

大量のデータロードするときは innnodb_log_buffer_size を大きく、バイナリログをオフに

[biochem_fan]

wikipedia ダンプでの実験データもあり

[chanpon0]

リストアの高速化。

[bluerabbit]

CSVストレージエンジンを使って高速にデータを登録する

[masutaro]

mysql

[iww]

バイナリログを無効にする方法

[masa_matya]

ロード時はバイナリログやダブルライトバッファを無効化する。

[comogly]

ちなみに、タイトルはネタであるのだが、もし本当に3秒で以下の全ての設定を行えた人が居たら教えて頂きたい！＞だ、騙されたクマー

[a2ikm]

空のDBにデータを入れるときとかに参照すると良し

[yanbow]

ｍｙｓｑｌ

[hiroyukim]

いい

[se-mi]

CSVストレージエンジンの使い方が意外すぎる

[puchoo]

mysql

[akiyan]

『CREATE TABLEでテーブルを定義し、CSVファイルを入れ替えてFLUSH TABLESすればMySQLからデータの準備は完了である。ALTER TABLEを使ってInnoDBに変換すればいっちょあがりだ。』この方法すげー。

[nippondanji]

id:sh2 いいえ、１〜３はWikimediaで配布されているダンプファイル（mysqldumpの出力）をそのまま利用しました。４はテーブル定義だけ変えてあります。

[sh2]

3番はLOCAL INFILE？ / なるほど

[kamipo]

一度シャットダウンしただけではログファイルを削除していいとは限らない