MySQL のレプリケーションから10年間逃げてきた我々が学んだこと8選 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。クラウド運用チームで SRE をしている飯塚です。 今回は、MySQL のレプリケーション機能を約10年もの間ずっと使ってこなかった私たちが、レプリケーションを使った高可用性構成に移行するための取り組みの中で学んだことについて紹介します。 背景 巨大なテーブルへの primary key の付与 トランザクションサイズが大きい場合には tmpdir に注意 mysqldump で絵文字が消えていないか要チェック mysqldump が Error 1412: Table definition has changed... で失敗する mysqldump したデータのリストアが Duplicate entry 'xxx-yyy-PRIMARY-n_diff_pfx01' for key 'PRIMARY' で失敗することがある mysqldump したデータのリストア時のディスク
MySQLを学ぶ技術
2020/01/17 DevelopersNight 01 https://gmo.connpass.com/event/160796/
MySQL データベースの負荷対策/パフォーマンスチューニング備忘録 インデックスの基礎〜実践 - Qiita
TL;DR この記事に書いた事 二分探索木のお話(前提知識) MySQLのInnoDBで利用されているB+木インデックスの構造と特性 (前提知識) MySQLのClusteredIndex,SecondaryIndexについて(前提知識) カーディナリティについて(前提知識) 実際の負荷対策 検出編 スロークエリ 検出編 その他のクエリ割り出しいろいろ クエリ・インデックスの最適化 explainの使い方と詳細 ケース別実践 単純にインデックスがあたっていないケース カーディナリティが低いインデックスが使われているケース 部分的にしかインデックス/複合インデックスがあたっていないケース 複合インデックスの順序誤りでインデックスが適用できていないケース 複合インデックスの最初がrange検索のケース ソートにインデックスが適用できていないケース ソートにインデックスが適用できていないケース（
MongoDBであるメリットが無くなってしまったのでMySQLに移行したはなし - KAYAC Engineers' Blog
SREチームの長田です。 この記事はTech Kayac Advent Calendar Migration Track 1日目の記事です。 今回はLobiで使用していたMongoDBをMySQLに移行したはなしです。 MongoDBを何に使っていたか DAUなどのKPIレポートや、サービスの状況を把握するための各種集計結果を保存するために使っていました。 サービス開始直後はこれらの数字を色々と試行錯誤しながら追加したり、減らしたりしていました。 頻繁な追加削除があるデータ構造を保存するために、スキーマレスなデータベースであるMongoDBはちょうどよかったようです。 (当時スキーマレスデータベースが流行っていたというのもあるでしょう) なぜ移行したのか MongoDBに保存されたドキュメントは、スキーマ管理がされていませんでした。 スキーマレスであることをいいことに、その時時によって様々
第4回 NoSQLとSQLの使いどころを知ろう | gihyo.jp
本記事は、『Software Design 2019年8月号』の第2特集「ゲームを題材に学ぶ 内部構造から理解するMySQL」をWeb掲載用に再編集したものです。 本記事のテーマを、より基本的なところから丁寧に解説した『SQLの苦手を克服する本 データの操作がイメージできれば誰でもできる』が2019年8月26日に発売されました。本記事と併せてご活用ください。 「NoSQLはRDBMSより高速」は本当か？ NoSQLが登場したころ（あるいは、今でも）、「NoSQLはRDBMSに比べて20倍高速」などというホワイトペーパーが出たりすることがあり、「20倍」という表現が独り歩きすることがよくありました。この倍率については、レコード長やページサイズ、その他もろもろのチューニング項目をどうするかで、いかようにも変化しますからほぼ意味がないうえ、実際のシステムでそれほどの差が出ることはありませ
第1回 DBサーバの構造を知ろう！ | gihyo.jp
本記事は、『Software Design 2019年8月号』の第2特集「ゲームを題材に学ぶ 内部構造から理解するMySQL」をWeb掲載用に再編集したものです。 本記事のテーマを、より基本的なところから丁寧に解説した『SQLの苦手を克服する本 データの操作がイメージできれば誰でもできる』が2019年8月26日に発売予定です。本記事と併せてご活用ください。 ゲーム開発におけるRDBMSの役割 RDBMS（Relational DataBase Management System）は業務システム（以下、業務系）で多くの実績を作ってきました。一方でゲーム分野（以下、ゲーム系）では、RDBMSはほとんど使われていませんでした。ネットゲームではなく、スタンドアローンのゲームが中心だったので、プレーンなテキストやバイナリ形式でデータを保存していたからです（スタンドアローン環境向けのSQLiteもまだ
Ansible AWXでMySQLの構成管理を行う - MicroAd Developers Blog
マイクロアドでインフラエンジニアをやっている長田です。おもにMySQLなどのDBA業務に携わっていますが、今回はAnsible AWXを用いてMySQLのユーザやパラメータといった構成の管理を導入したことについてお話したいと思います。 Ansible / Ansible AWXとは ご存知の方も多くおられると思いますが、AnsibleとはRed Hat社が主導して開発されているオープンソースの自動化・構成管理ツールです。最新バージョンは2019/05/16にリリースされたv2.8で、現在も様々なミドルウェア・クラウド・ネットワーク機器に対応する機能が精力的に開発されています。 Ansible AWXとはRed Hat社が有償で提供しているAnsible Towerのアップストリーム版にあたるOSSであり、AnsibleをWeb GUI上もしくはAPIによって操作することができます。プレイブ
[AWS Black Belt Online Seminar] Amazon Aurora MySQL 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] Amazon Aurora MySQL 資料及び QA 公開 先日 (2019/4/24) 開催しました AWS Black Belt Online Seminar「Amazon Aurora MySQL」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190424 AWS Black Belt Online Seminar Amazon Aurora MySQL AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. Auroraでbinlogのユースケースは、どの様なことがありますか？（※今日のウェビナーを聞いて、リストアで使う必要性はないと感じたものです） A. Amazon Auroraでは標準ではバイ
![[AWS Black Belt Online Seminar] Amazon Aurora MySQL 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/c8ac7c659a06104c4f9030ffc1f38f1b32694391/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2019%2F04%2F24%2F0424.png)
もし間違ってDROP DATABASEしてしまったら – area[nothing] : diary
2007/ 01 02 03 04 05 06 07 08 09 10 2006/ 01 02 03 04 05 06 07 08 09 10 11 12 2005/ 01 02 03 04 05 06 07 08 09 10 11 12 2004/ 01 02 03 04 05 06 07 08 09 10 11 12 2003/ 01 02 03 04 05 06 07 08 09 10 11 12 2002/ 01 02 03 04 05 06 07 08 09 10 11 12 2001/ 01 02 03 04 05 06 07 08 09 10 11 12 2000/ 01 02 03 04 05 06 07 08 09 10 11 12 1999/ 01 02 03 04 05 06 07 08 09 10 11 12 1998/ 01 02 03 04 05 06 07 0
サイボウズ版 MySQL パフォーマンスチューニングとその結果 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの青木(@a_o_k_i_n_g)です。先日親知らずを抜歯した時、つらすぎたので MySQL の JOIN のことを考えて心の平静を保っていました。 サイボウズの製品のひとつである kintone はニーズに応じて自由に業務アプリのようなものを手軽に作ることができ、データの検索条件やソート条件も細かくカスタマイズ可能で、様々なレベルでのアクセス権も設定可能という非常に便利なツールです。 しかしその機能を支える裏側では複雑なクエリが発行され、MySQL に多大な負荷をかけています。サイボウズのクラウドには数十テラバイトに登る MySQL データがあり、数千万件オーダーのテーブルを複数 JOIN するクエリが毎秒のように実行されるという、エンジニア魂が滾る環境です。 現在サイボウズでは性能改善に力を入れており、僕もその業務に従事しています。例えば2018年
MySQL ってクソだよね - Qiita
CREATE TABLE tbl_unique_test ( id INTEGER NOT NULL, value INTEGER NOT NULL DEFAULT 0, PRIMARY KEY (id) ); 挿入してみます。 mysql> INSERT INTO tbl_unique_test VALUES (1,1); Query OK, 1 row affected (0.50 sec) 同じクエリをもう一回叩いてみます。 mysql> INSERT INTO tbl_unique_test VALUES (1,1); ERROR 1062 (23000): Duplicate entry '1' for key 'PRIMARY' はい。 IGNORE を指定してみます。 mysql> INSERT IGNORE INTO tbl_unique_test VALUES (1,1)
もうRDBとNoSQLを選ぶ必要はない MySQLなら両方できる
2018年4月、MySQL 8.0 GAがリリースされた。早速5月23日には「Oracle MySQL Innovation Day 2018 Tokyo」が開催され、新バージョン詳細が日本のユーザーに紹介された。MySQLは世界有数の大規模Webサイトで使われるRDBでありながら、新バージョンではドキュメントストア機能を多く盛り込みNoSQLとしても使えるデータベースとなっている。当日は気になる新サービス構想についての言及もあった。 MySQL 8.0はRDBとNoSQLのハイブリッドデータモデルへと MySQL 8.0といえば、このツイートが象徴的だ。投稿者はベルギー在住のMySQLエバンジェリストでありMySQLコミュニティマネージャのフレデリック・デカン（Frederic Descamps）氏。米国カリフォルニア州レッドウッドショアー（オラクル本社）でのMySQL 8.0 GA記念
データベーステーブル設計の基礎の基礎〜エンティティの抽出・定義から正規化まで - エンジニアHub｜若手Webエンジニアのキャリアを考える！
データベーステーブル設計の基礎の基礎～エンティティの抽出・定義から正規化まで 適切な形でデータベースのテーブルを設計し、運用するには？テーブル設計に必要な初歩を日本MySQLユーザ会副代表の坂井恵さんが丁寧に解説します。 金融系アプリ、ゲーム、人工知能などなど……。どんな種類のシステムを開発する上でも、避けて通れない領域があります。データベースです。データを適切な形式で格納し、取り出す。単純明快ながらも奥深いこの仕組みは、多くのシステムの根幹を支えています。 しかし、適切な形でデータベースのテーブルを設計し、運用するのは簡単なことではありません。「良いテーブル設計」のためには知識と経験が不可欠です。今回は日本MySQLユーザ会の副代表である坂井恵さんに、これからテーブル設計に着手する方に向け、設計に必要な技術と、良い設計を作るための考え方を教えていただきました。 坂井恵（さかい・けい） @
実録・4大データベースへの直接攻撃
情報の入れ物、データベースは大丈夫ですか 皆さんこんにちは、川口です。そろそろGumblarの話に飽きてきたところでしょうか。今回は以下の4種類のデータベースで、管理用ポートをインターネットにオープンしているとどうなるかについて調べた結果を取り上げます。いずれも管理用ユーザーのパスワードは「脆弱なもの」に設定されています。 Oracle（1521/tcp） SQL Server（1433/tcp） MySQL（3306/tcp） PostgreSQL（5432/tcp） 右側に書いてある番号が管理用ポート番号です。データベースを管理する場合、これらのポートをインターネットに対してオープンにする必要はないはずです。しかし、これらのポートに対して外部から“直接”接続するインシデントが年に数回は発生しています。 このようなインシデントは、大学のネットワークに接続したサーバがほとんどですが、ホステ
MySQL 8.0登場！立ち止まることを知らない進化はこれからも続く。
ゴールデンウィークはいかがお過ごしされただろうか。今年は天気も良く、行楽日和が続いたように思う。 さて、先日MySQL 8.0が正式にリリースされた。少し時間が経ってしまったが、今回はMySQL 8.0の新機能について紹介したい。コミュニティ版のダウンロードはこちらから可能だ。 ひとつ前の正式バージョンはMySQL 5.7だったのだが、MySQL 8.0は非常に大きなリファクタリングが含まれており、5.x台のバージョン番号を捨て去ろうという話があった。そこで、次のメジャーバージョンは最初の桁を増やすということになったのだが、MySQL 6.0は過去に既に存在し、買収などの騒ぎで開発が頓挫してしまった経緯がある。7.xはMySQL NDB Clusterと被っている。というわけで、5.7の7の部分の次という意味合いもあって、8.0というバージョン番号を引っさげ、満を持しての登場となった。その
SQLAlchemyでMySQLのINSERT .. DUPLICATE ON KEY UPDATE （UPSERT）を使用する - エンジニアの頭の中
最近、PythonでMySQLデータベースへ接続するコードを書いていたのですが、直接SQLを書くのが嫌になりSQLAlchemyを使用することにしました。 既存のMySQLへの接続処理をSQLAlchemyを使用するコードへと置き換えていたのですが、その際に、MySQLへのレコード登録時にキー重複が発生した場合は、該当レコードを更新する「UPSERT」をする必要がありました。 元々は、MySQLのduplicate on key update機能をSQLを書いて使用していたのですが、SQLを書かずにSQLAlchemyで実現する方法を調べてみたので、メモとして残しておきます。 UPSERTはSQLAlchemy 1.2系でサポートされている SQLAlchemyでは、1.2系からUPSERT (ON DUPLICATE KEY UPDATE)をサポートしているようです。 bitbucket
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLとPostgreSQLコマンド比較表 - Qiita
AWSのRDSのmySQLにCSVを一括入力する
MySQLにWEBアプリのログを保存しているケースの8割くらいが幸せになる方法
MySQLのGIS機能とか超入門 ～MyNA会2018年7月
