Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。 AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。 仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
LINEマンガのデータベースをシャーディングしました (データベースエンジニア編)
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは、データベース室の小田です。 今回はLINEマンガのデータベースをシャーディングした作業について、サーバエンジニア編とデータベースエンジニア編に分けてご紹介したいと思います。 本エントリでは、シャーディングに至った経緯、データベースエンジニア側で検討したことについて書いていこうと思います。 シャーディングに至った経緯 サービスを引継ぐ 前段として少し昔の話をします。私がLINEマンガの担当データベースエンジニアとなったのは、2018年2月中旬のことでした。 LINEマンガのサービス開始が、2013年4月9日だということですので、ちょうど5周年を迎える直前ですね。前任者からは、いいタイミングだからということで
Rails複数DBシステムMySQLからPostgreSQL移行物語 | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは、三苫です。 この記事はTECHSCORE Advent Calendar 2014、5日目の記事です。 近年、Rails複数DB Casual Talksが開催されるなど、Railsでも複数・異種データベース混在したシステム構成は何ら特別でなものではなく通常の開発でカジュアルに選択される構成だぞという機運が高まっています。 togetterで参加者の反応を見ても、「establish_connectionは基本」「前にも見たぞこのスライド」など、おおむね知見が業界全体に広まりつつある事がわかります。 本記事はRails複数DBがまだカジュアルではない時代、マルチテナントシステムのデータベースをMySQLからPostgreSQLに、各サブシステムは縮退しつつも、システム全体としては無停止で移行を行った記録を共有するためのものです。 移行したシステムの前提 マルチテナントシステム
ソシャゲエンジニアの自分がコードレビュー時に重視する箇所33選 【随時追加】 - Qiita
コードレビューで土日に安寧を ソーシャルゲームは、ユーザアクセス集中と、それに伴うユーザデータ増加によって劇的に負荷が上がり、（主に土日に）サービスに影響を与えがちです。 問題があるコードは、たとえ負荷テストを行っても、作成したシナリオによっては見つけられない可能性もあります。 そういった見えない不安を払拭するという意味でも、コードレビューは重要だと思っています。 【ステキポイント】 ・ ソースを見ることにより、時限爆弾が土日に爆発するのを解除 ・ スキル共有によってメンバーがレベルアップすることにより、土日に爆発する時限爆弾の設置確率低下 まぁまとめると これに尽きます（4歳の息子談） 今は、gitのプルリクエストという強力なレビューツールもあり、敷居がかなり低くなったのでオススメです！ チェックするポイントは5つ コードレビューを行うにあたり、「どんなところをチェックすればいいのか分か
SQLで複数行をまとめて取りたいとき（ GROUP_CONCAT ）
ワールドカップはじまりましたね！ 普段はサッカーを観戦したりはしないのですが、お祭り的な雰囲気が好きで見てしまいます。 おひさしぶりです。塚原です。 健忘禄も兼ねて mysqlの GROUP_CONCAT を紹介します。 同一のカテゴリーのデータが複数行にあるものを1カテゴリー1行で出したいなんてことあると思います。 例えば、以下のアンケートで複数回答したようなデータがあるとします。 そんなデータを「ユーザごと回答を抜き出してよ」なんてときに便利なのが GROUP_CONCAT です。 SELECT user_id, GROUP_CONCAT( answer_id SEPARATOR ',' ) as 'answer' ↑ まとめたいカラムにかぶせる ↑ 区切り文字を指定できる FROM answer_data GROUP BY user_id;
大規模環境でMySQLのGTIDを適用して得られた教訓 | Yakst
MySQL 5.6からの機能であるGTIDを、Facebookの環境に適用した際の流れと主な不具合、そしてそれらの修正点について、Facebookのエンジニアによるまとめ。 by Evan Elias and Santosh Praneeth Banda Global Transaction ID (GTID)は、MySQL 5.6の新機能の中でも最も使わずにはいられない機能の一つだ。このおかげで、フェイルオーバやポイントインタイムリカバリ、階層を持ったレプリケーションなどに非常に有益だし、クラッシュセーフなマルチスレッドレプリケーションの必須条件にもなっている。この数ヶ月で、我々はFacebookの全ての本番用MySQLインスタンスで、GTIDを有効にした。その中で、この機能の適用方法や操作について、たくさんの知見が得られた。たくさんのサーバサイドの修正事項については、WebScaleS
Ring
Ringとは、リクルートグループ会社従業員を対象にした新規事業提案制度です。 『ゼクシィ』『R25』『スタディサプリ』など数多くの事業を生み出してきた新規事業制度は、 1982年に「RING」としてスタートし、1990年「New RING」と改定、そして2018年「Ring」にリニューアルしました。 リクルートグループの従業員は誰でも自由に参加することができ、 テーマはリクルートの既存領域に限らず、ありとあらゆる領域が対象です。 リクルートにとって、Ringとは「新しい価値の創造」というグループ経営理念を体現する場であり、 従業員が自分の意思で新規事業を提案・実現できる機会です。 Ringフロー その後の事業開発手法 Ringを通過した案件は、事業化を検討する権利を得て、事業開発を行います。 さまざまな事業開発の手法がありますが、例えば既存領域での事業開発の場合は、 担当事業会社内で予算や
門外不出のOracle現場ワザ 第3章 | Oracle 日本
門外不出のOracle現場ワザ 日本オラクル株式会社 コンサルティング統括本部テクノロジーコンサルティング本部 小田 圭二(おだ けいじ) 第3章 データベース管理 転ばぬ先の杖～設計編 日本オラクル株式会社 コンサルティング統括本部テクノロジーコンサルティング本部 小田 圭二(おだ けいじ) 目次 Part1 業務アプリケーション開発チーム編 トラブルは業務要件のヒアリング時から始まる ER設計におけるトラブル回避のポイント CRUD図でデータのライフサイクルを確認 アプリケーション側で実装すべきこと 事前に調べておくべきロック関連の問題 デッドロックを防止する実装 そのほかの検討事項 Part2 インフラ設計チーム編 Part1 業務アプリケーション開発チーム編 コンサルティングをしていると、業務アプリケーションの設計時点でDBのことをきちんと考えているプロジェクトは少ないと感じま
Mysqlでログ系テーブルを運用するときやっておきたいこと - 主夫ときどきプログラマ
SNSやソーシャルゲーム、アドネットワークなどのシステムではいろいろなログ情報をDBに保存することもあると思います。 そのさい、日々増えつづけるデータやパフォーマンスをどの様にさばいていくかが重要になってきます。 今回はログ系のデータをMysqlでどのように運用していくか、をテーマにいくつかのノウハウをまとめました。 ログ系テーブルの特徴 ログ系のデータとは、つまり何かのアクションの履歴データのことです。 一般的にはこのような形になるかと思います。 CREATE TABLE `t_logs` ( `id` bigint(20) unsigned NOT NULL, `user_id` int(10) unsigned NOT NULL DEFAULT '0', `event_id` int(10) unsigned NOT NULL DEFAULT '0', `created` datet
MacPorts で MySQL5.5 を入れる - Memo
新しい Mac を買ったので環境を再構築。 MacPorts*1 で MySQL5.5 を入れようとしてハマったのでメモ。 $ sudo port install mysql55 +openssl +system_readline---> Computing dependencies for mysql55 ---> Fetching archive for mysql55 ---> Attempting to fetch mysql55-5.5.27_0+openssl+system_readline.darwin_12.x86_64.tbz2 from http://packages.macports.org/mysql55 ---> Attempting to fetch mysql55-5.5.27_0+openssl+system_readline.darwin_12.x86_6
今さらだけどMySQLのパーティショニング機能を試してみた - (ﾟ∀ﾟ)o彡 sasata299's blog
2013年03月21日18:11 MySQL 今さらだけどMySQLのパーティショニング機能を試してみた 最近は花粉が飛んでて辛い季節ですがみなさまいかがお過ごしでしょうか。でももうちょっと我慢すればサクラの季節ですよ〜。花見良いですよね、飲みたいだけですが。 ・・さて、今回はちょっと必要になったので、MySQLのパーティショニング機能なるものを試してみました。存在は知ってたけど、実際に試してみたことは無かった…。 パーティショニングとは？ これはどういうものかと言うと、MySQL5.1から使えるようになった機能で、ひとつのテーブルのデータを条件によって複数の領域（パーティション）に振り分けて管理することができる、というものです。例えば日別にデータを別々のパーティションに振り分けたり。 パーティショニングするとデータの削除が高速だったり（通常は削除ってものすっごい遅いけど、特定のパーティシ
shin3tky blog: MySQL スレーブをマスターに切り替える
2010/02/09 MySQL スレーブをマスターに切り替える レプリケーション構成している MySQL 5.1 で、スレーブをマスターに切り替える際の備忘録です。 公式ドキュメントは「フェイルオーバでのマスタ切り替え」となります。 MySQL に接続しているクライアントを停止する。 アプリケーションだけでなく、cron で動いているバッチ処理も停止する。 Master へのリクエスト停止を確認する。[Master] show processlist; と show master status; にて確認する。 バイナリログの Slave への反映を確認する。[Slave] show processlist \G; にて Has read all relay log を確認する。 Slave を停止する。[Slave] stop slave; にて停止する。 master.inf
気軽なMySQLバージョンアップ - まめ畑
このエントリーはMySQL Casual Advent Calendar 2013 10日目の記事です。カジュアル！ このへんでそろっとカジュアル詐欺と言われるのを防止するために、カジュアルな話を書いてみました。 MySQL5.6も正式リリースされてもうすぐ1年経ち、5.7の足音も聞こえてきている今日このごろですが皆様のMySQLのご機嫌はいかがでしょうか。 新機能や性能向上/bugfixに対応するためにMySQLのバージョンアップを行う機会や性能や不具合調査を行うことも多いかと思います。データベースのバージョンアップは特にメジャーバージョンアップの場合、パラメータのデフォルト値などの変更や仕様変更の影響(オプティマイザの変更)をアプリケーションが受けないか、性能の変化などを検証すると思います。 検証 実際に検証を行う場合、本番環境で流れているクエリをバージョンアップ先のDBに実際に流して
SSHのポートフォワーディングでMySQLに接続する方法 | 株式会社田村倉庫
SSHポートフォワーディング（トンネリング）を利用して、外部サーバーで稼働しているMySQLデータベースに接続する方法を紹介します。 SSHポートフォワーディングとは SSHポートフォワーディングの仕組みがわかってしまえば、今回の話は簡単です。要は上図のように、SSHによって確立された通信経路を利用してクライアントの10000ポートをサーバーの3306ポートにマッピングするわけです。 つまり、このポートフォワーディングが行われているときにクライアントのローカルの10000ポートに接続すれば、サーバーの3306ポートに接続していると変わらないというわけです。 しかも、このとき通信経路はSSHによって暗号化されおり、また接続先のポートがファイアウォール等で閉じられていたとしてもSSHのポートさえ開いていれば利用可能という非常に使い勝手がよい仕組みになっています。 ポートフォワーディングを実行す
カラムを追加する方法【MySQL】 - Programming Magic
MySQLでは以下のようなクエリーでカラムを追加することができる。 ALTER TABLE <テーブル名> ADD <カラム名> <型情報>; ALTER TABLE test ADD name varchar(255); ALTER TABLE test ADD num int unsigned; ALTER TABLE sample ADD address varchar(1023) NOT NULL; また、以下のようにカラムを追加する位置を指定することもできる。 ALTER TABLE <テーブル名> ADD <カラム名> <型情報> AFTER <カラム名>; ALTER TABLE <テーブル名> ADD <カラム名> <型情報> FIRST; ALTER TABLE test ADD comment text AFTER name; ALTER TABLE test ADD
2.11系から2.12系 [EC-CUBE メモ]
ALTER TABLE dtb_products_class ADD COLUMN classcategory_id1 INT NOT NULL DEFAULT 0; ALTER TABLE dtb_products_class ADD COLUMN classcategory_id2 INT NOT NULL DEFAULT 0; -- MySQL は下記も追加する (設定によっては、WHERE でキー指定の無い UPDATE を実行できないため) -- SET SQL_SAFE_UPDATES = 0; UPDATE dtb_products_class SET classcategory_id1 = COALESCE( ( SELECT classcategory_id FROM dtb_class_combination WHERE class_combination_id = d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20年前のMySQL、今のMySQL
欧美亚洲色欲色一欲WWW - 欧美大片欧美激情免费看 - 欧美特黄特色三级视频在线观看
MySQL フィールドにAUTO_INCREMENT属性を追加する | doli blog
http://blog.inouetakuya.info/entry/20130320/1363776504
