Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。 AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。 仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
mytop - a top clone for MySQL
About mytop is a console-based (non-gui) tool for monitoring the threads and overall performance of a MySQL 3.22.x, 3.23.x, and 4.x server. It runs on most Unix systems (including Mac OS X) which have Perl, DBI, and Term::ReadKey installed. And with Term::ANSIColor installed you even get color. If you install Time::HiRes, you'll get good real-time queries/second stats. As of version 0.7, it even r
Joomla!じゃぱん
Joomla! JAPAN をボランティアでサポートして頂ける方、いろんなサポート方法があります。 詳しくは右側を参照ください。
サイト構築に役立つWEB講座 SmartSmart(スマートスマート)
フロントエンドのウェブ制作を学ぶ HTML5やCSS３、JavaScriptなどの言語、それにAtomといったツール、 言語を覚えるための勉強方法などを紹介。
DEEP KICK.com
DEEP KICK.com へようこそ。 データサイエンティスト・データアナリスト・AIエンジニアの本多郁の研究・業績・ビジネスについて紹介しているサイトです。「脱炭素化社会に資するAIの社会実装と高度AI人材育成」をライフワークとし、Deep Learning による予測モデル開発・画像認識モデル開発および社会実装について研究・ビジネス支援を行っています。 お問い合わせはこちらからどうぞ。 News 岐阜大学工学部付属応用気象研究センター・気象データアナリスト養成プログラムに合格。2024年4月より、1年間の予定で第2期生として同プログラムに参加します。本プログラムは、気象データとデータサイエンスを組み合わせて、新規ビジネス創出や社会課題解決に貢献できる高度人材育成を目的としています。2024年2月、京都大学で開催された第17回 宇宙ユニットシンポジウム「人類、火星に向かう」において、ポ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQL講座 [Smart]![SQL講座 [Smart]](https://cdn-ak-scissors.b.st-hatena.com/image/square/efeb6493234f33406d242c048873a805fca99c63/height=288;version=1;width=512/https%3A%2F%2Frfs.jp%2Fwp-content%2Fthemes%2Fsmart%2Fogpimage.png)
サービス終了のお知らせ
