Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。 AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。 仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
MySQL で 複合キーを貼る時は explain の key_len をちゃんと見る - magamingのブログ
複合キーを貼っている以下のようなテーブルで、index が効かなくてクエリがめちゃ重くなる現象が発生してしまった。 CREATE TABLE `example` ( `id` BIGINT UNSIGNED NOT NULL, `column1` BIGINT UNSIGNED NOT NULL, `column2` BIGINT UNSIGNED NOT NULL, `column3` VARCHAR(36) NOT NULL, PRIMARY KEY (`id`), INDEX `index1` (column1, column2), INDEX `index2` (column1, column3) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 実際に発行したクエリは以下のような感じ。 SELECT * FROM example WHERE col
第65回 MySQLと文字コード | gihyo.jp
みなさんはMySQLの文字化けに悩まされたことはありますか？ MySQLではさまざまな文字コードと照合順序を扱うことができます。今回は、MySQLの文字コードの設定について見ていきたいと思います。 文字コードと設定 MySQLではデフォルトでlatin1という文字コードになっています。この文字コードは日本語を扱うことができないため、少し昔であればujisやsjis、いまでは多くの方が3バイトのutf8や、4バイト文字が扱えるutf8mb4に設定して利用されていると思います。 MySQLで設定できる文字コードは、SHOW CHARACTER SET構文で確認することができます。また、SHOW VARIABLES構文から現在設定されている文字コードを確認することができます。 > SHOW CHARACTER SET; +----------+--------------------------
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker
