MySQLでのバルクアップデートの性能比較 - Qiita
バルクインサートと比較すると要件が複雑なため、バルクアップデートの実現方法はいくつかあります。 この記事では3つの方法に対して実行速度の違いを比較します。 UPDATE ~ ELT + FIELD UPDATE ~ CASE INSERT ~ ON DUPLICATE KEY UPDATE 要件によっては上記以外の方法でも十分なケースもあるため、以下の条件を設定しています。 レコード毎に違う内容で更新 更新前の値を使用 特定のカラムのみを更新し、他のカラムは変更しない 実際にありそうなケースとしては、ユーザごとにポイントを保持するテーブルがあり定期的に集計処理を走らせてその内容に応じてポイントを加算するようなのを想定してます。 使用するテーブル CREATE TABLE `users` ( `user_id` int(11) NOT NULL AUTO_INCREMENT, `field1
第1回 MySQLの利用に役立つ情報源 | gihyo.jp
MySQLを使ったアプリ開発や運用に関しての情報は、WebサイトやMySQLに詳しい方が書いたブログ、書籍など様々なところから手に入れることができます。MySQLの新しいバージョンの機能から、APIの仕様やコマンドのオプションの意味、実運用時に役立つTipsなど幅広い情報のありかをご紹介していきます。 日本MySQLユーザ会による日本語での情報発信 1998年にメーリングリストでの情報交換を開始し、2000年には現在の名称である日本MySQLユーザ会（略称：MyNA＝MySQL Nippon Association）として、日本でのMySQLの普及やユーザ間のコミュニケーションを図るための活動を行っています。技術情報の交換や質問、イベントのお知らせなどが行われているメーリングリストに登録することで入会となります。MySQLサーバのマイナーバージョンアップのお知らせが掲載されているほか、国内
第107回 CREATE TEMPORARY TABLEによる一時テーブルの利用 | gihyo.jp
MySQLには一時テーブルを利用するのに便利なCREATE TEMPORARY TABLE構文があります。これは利用しているセッション内だけで有効なテーブルを作成し、セッションが閉じたときに自動的にテーブルが削除される構文になります。 今回はCREATE TEMPORARY TABLE構文の挙動を確認していきましょう。なお、一時テーブルはInnoDB, MEMORY, MyISAM, MERGEストレージエンジンで利用可能ですが、今回は前提としてMySQL 8.0.17のInnoDBでの利用となります。 CREATE TEMPORARY TABLEを使って一時テーブルを作成する 一時テーブルを利用するには、CREATE TEMPORARY TABLES権限を持つユーザーがCREATE TEMPORARY TABLE構文を実施する必要があります。CREATE TEMPORARY TABLES
MySQL で max_allowed_packet を超過した場合 - tmtms のメモ
MySQL で max_allowed_packet を超過した場合にどうなるんだっけ…と思って試してみた結果。 サーバーの max_allowed_packet をクエリが超過した場合 MySQL 5.6 サーバー起動 % docker run --name mysql56 -e MYSQL_ALLOW_EMPTY_PASSWORD=yes -d mysql:5.6 --max-allowed-packet=100000 クライアントは原因がわからないけど切断される % ruby -e 'puts "set @a="+"1"*1000000' | docker exec -i mysql56 mysql ERROR 2006 (HY000) at line 1: MySQL server has gone away サーバー側はログ出力なし % docker logs mysql56 .
楽しいトンネルの掘り方(オプション: -L, -R, -f, -N -g)
はじめに こんにちはこんにちは！ KMC の魔法少女nona7(nonamea774) です. 最近はクッキーを増やして過ごしています. この記事はKMCアドベントカレンダー2013の9日目の記事です. 昨日の記事はpossumさんの指紋の話でした. さらにこの記事は, KMCアドベントカレンダー2013のサブカレンダーであるSSHアドベントカレンダー2013の2日目の記事でもあります. 日頃SSHに親しんでいる部員による、SSHの基礎知識、ツール、Tips等を紹介して参りますので、初心者の方から上級者の方までご笑覧いただければ幸いです. KMCアドベントカレンダー9日目, SSHアドベントカレンダー2日目の今回は, 楽しいトンネルの掘り方についてのお話をします. トンネル掘ってあっちこっち(Lオプション) 例えば のような, インターネット側からはSSH サーバしか見えなく, SSH サ
MySQLのquery review helperを作ってみた - tom__bo’s Blog
せっかくのGWなので、おもちゃを作りました。 Query Review Helperです。 github.com 背景 最近MySQLで実行されるクエリをレビューするタスクが異常に多くなってきました。 開発者の全員がindexやjoin, partition, limit offsetなどなどのハマりどころを知っているというのが理想ではありますが、そうも行きません。 大体EXPLAINをかけてtable scanになっていないか、sortやlimit offsetで劇的に重いクエリがないか確認すれば、すぐに問題になるようなことはありませんがいくつか問題があります。 複数のサービスを横串に見ていると各サービスのテーブル設計の詳細を知らない 大きいサービスだとテーブル数やカラム数が異常に多い(数百テーブル, 各テーブルに数十カラムとFKが、、、とか) tableやcolumn, subquer
Update for last week (2020-12-21 ~ 2020-12-27) - MySQL Weekly
MySQL Weeklyでは1週間ごとにMySQLのrelease-note, bug, official blog, organizationによるblog, 個人のblogをまとめ紹介しています。 更新は月曜 10時(AM)です。先週一週間のMySQL関連の更新を再確認するのにご活用ください。 また、このブログ記事はGitHub上で管理されていますMySQL-weekly repository。Issue, pull-request歓迎です。(完全に同期できているわけではありません) お知らせ 本日の記事をもってMySQL Weeklyは最後の記事になります。 理由はメンテナンスコストが高いように感じるので、今後は読んだ記事で理解したことや実験したことだけを中心にアウトプットしたいためです。 そういった今後の内容はtom__bo's blogの方にまとめる予定なので、こちらを見ていただ
別サーバの MySQLにアクセスする設定・ファイアウォール設定、ポート設定、MySQL設定、テーブルへ権限付与の方法
【外部サーバからデータベースサーバにアクセスするイメージ】 ですが、別のサーバにある MySQLにアクセスをする場合は、アクセスを受ける側のサーバの データベース・テーブルへのアクセス権限設定 MySQLへのアクセス制限設定 MySQLが利用するポートの開放設定 ファイアウォールの制限設定 が適切に行われている必要があります。 いずれか一つでも設定できていなければ、アクセスができません。 別サーバからアクセスして接続を確認 まず最初に、別サーバからアクセスできるか確認をしてみます。 また、MySQLコマンドを実行するには、アクセスをする側（外部サーバ側）にも MySQLが入っている必要があります。
Amazon Linux2にMySQLクライアントを４バージョンいれてみた。Ansible Playbookを添えて | DevelopersIO
福岡オフィスの梶原です。Amazon Linux2にMySQLクライアントを入れる機会があったのですが Amazon Linux2標準のリポジトリはMariaDBを参照していたりして、ちょと癖があり MariaDB 5.5 MariaDB 10.2 MySQL 5.7 MySQL 8.0 のMySQLクライアントをインストールする際のそれぞれのコマンドと、勢いでAnsibleのプレイブックを作ったので公開します。 ※注意 MySQLの標準リポジトリ利用は無保証となります。使用する際は検証等は十分にされてください。 前提条件 2019/05/20 時点の情報です。リポジトリの更新タイミング等でインストールされるバージョンは変わる可能性があります MariaDB 5.5 コマンドライン #Extras Libraryをdisableに(有効にしたことがなければ不要です) $ sudo amaz
MySQL権限一覧をきれいに作る方法と、rootユーザー以外で棚卸しする方法 - Qiita
information_schemaを利用した権限リスト作成 MySQLで、存在するユーザーと権限の一覧が欲しいとき、 rootユーザーで以下のコマンドを実行すると簡単に確認できます。 シンプルなクエリ SELECT * FROM information_schema.user_privileges; -- グローバルレベル権限のリスト SELECT * FROM information_schema.schema_privileges; -- データベースレベル権限のリスト SELECT * FROM information_schema.table_privileges; -- テーブルレベル権限のリスト SELECT * FROM information_schema.column_privileges; -- カラムレベル権限のリスト -- グローバルレベル権限のリスト SELEC
『主キー・一意キー制約とユニークインデックスについて』
これまで「一意キー」という言葉を、 このブログでも何の気なしに使って いたので、整理の意味も含めて、 「主キー(PRIMARY KEY)」 「一意キー(UNIQUE)」 「ユニーク。インデックス(UNIQUE INDEX)」 について説明したいと思います。 まず、「主キー(PRIMARY KEY)」と 「一意キー(UNIQUE)」はテーブルに 付与する「制約(CONSTRAINT」です。 意味としては ・テーブルに格納されるレコードに 制限を付けるためのもの で、「オブジェクト」ではありません。 なので、「CREATE ～」とはせずに、 「CREATE TABLE」内に記述するか、 「ALTER TABLE ～」として、文字通り 「TABLE」オブジェクトに「付与」する ことになります。 そして、付与される「制限事項」は どちらも「テーブル内で重複しない」 ことです。なので、主キーも一意キ
MySQLのselect結果をコマンドライン上でカンマ区切りとかに - 雑想空間
mysqlのselectの結果をcsvで出したい場合。 よく、 MySQL CSVファイル出力 - 雑想空間 SELECT * FROM table_name INTO OUTFILE "/tmp/sample.csv" FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"';こんな事やってたんですが、結果が数行とかの時は、remote上からscpなんかでfile移動するのが面倒でした。 コマンドライン上でカンマ区切りとかに mysql -uuser database -p -e 'SELECT id,a_id FROM test limit 10' -B | sed -e 's/\t/,/g' id,a_id 1,2 3,4 2,16 7,17 5,24 4,25 6,26 8,28 20,29こんな感じで、コマンドライン上でカンマ区切りで
InnoDBのロックの範囲とネクストキーロックの話 - かみぽわーる
この記事はMySQL Casual Advent Calendar 2013 3日目の記事です。 はじめに 以前にSELECT ... FOR UPDATEとロックの挙動 - walf443's blogの記事にTwitterで少し言及したんですが、それの補足というか、InnoDBのロックの範囲について僕はこう理解していますよという話です。 MySQLといえば、InnoDBをネットワークサーバとして使うためのフレームワークであり、SQLはInnoDBのインデックスにアクセスするためのDSLといっても過言ではないでしょう。 InnoDBのロックとはつまるところインデックス行のロックなので、InnoDBのロックの範囲を理解するためにInnoDBのインデックスについて少し前置きしておきます(だいぶ端折ったけど長くなった…)。 クラスタインデックスとセカンダリインデックス すでにInnoDBのイン
Installing MySQL with Docker
I often need to install a certain version of MySQL, MariaDB, or Percona Server for MySQL to run some experiments, whether to check for behavior differences or to provide tested instructions. In this blog series, I will look into how you can install MySQL, MariaDB, or Percona Server for MySQL with Docker. This post, part one, is focused on MySQL Server. Docker is actually not my most preferred way
MySQLでSELECT FOR UPDATEと行ロックの挙動を検証してみた - Continue(s)
どうも、今日も今日とて野毛で飲みながらブログを書いている@0kawaraです。 今日は、普段あまり意識してこなかったMySQLのInnoDBでのロックの振る舞いについて色々実験してみました。（もちろん、きっかは自分がドツボにはまったから） ちゃんと理解するためには「共有・排他的ロックとは」って話や、「行ロックってつまりインデックスレコードロックだよね」などの話とか理解する必要があるんですが、それは github.com をちゃんと一読してもらえれば十分かと思います。 （というか、これが問題なく読めて理解できる人はこの記事読む必要ない….） 以下は上のドキュメント含め関連する記事などを読んで自分でInnoDBの行ロック周りについて、というかSELECT FOR UPDATEについて理解を深めるために手元で実験したことのまとめです。 技術的にちゃんとした理解を深めたい人は最後にまとめた参考サイ
sakaikの日々雑感～(T)編
今年も「公共交通オープンデータ最前線2024」に、参加してきました。今年は3月2日の開催。「3月に入ってから発表準備しよう！」という人には厳しい日程だったかも(笑)。 https://gtfs2024.peatix.com/ 昨年(2003年)の参加後にこんなブログを書きました。 sakaik.hateblo.jp 今年も、33講演。幅広いテーマ、幅広いバックエンドを持った登壇者の、たくさんの講演を聞かせていただきました。IT屋さんがガッツリ入るケースも増えてきているなという印象。 路線がないのに扱える GTFS-flex 今年の新しい話題としては GTFS-flexが印象的でした。GTFSというのは主にバスを中心とした「路線通りに運行している」公共交通を扱うものだと理解していたのですが、GTFS-flex はオンデマンド交通のような路線がないもの（スタートとフィニッシュだけ「その時に」決
MySQL Weekly
MySQL Weeklyでは1週間ごとにMySQLのrelease-note, bug, official blog, organizationによるblog, 個人のblogをまとめ紹介しています。 更新は月曜 10時(AM)です。先週一週間のMySQL関連の更新を再確認するのにご活用ください。 また、このブログ記事はGitHub上で管理されていますMySQL-weekly repository。Issue, pull-request歓迎です。(完全に同期できているわけではありません) お知らせ 本日の記事をもってMySQL Weeklyは最後の記事になります。 理由はメンテナンスコストが高いように感じるので、今後は読んだ記事で理解したことや実験したことだけを中心にアウトプットしたいためです。 そういった今後の内容はtom__bo's blogの方にまとめる予定なので、こちらを見ていただ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL connection over SSH tunnel - how to specify other MySQL server?
mysql-client
高負荷を捌くDBチューニングノウハウを公開！PHPとMySQLの TCP TIME-WAIT チューニング(後編) | さくらのナレッジ
