Amazon Aurora MySQL のパフォーマンスとスケーリングの管理 - Amazon Aurora
Aurora MySQL DB インスタンスのスケーリング Aurora MySQL DB インスタンスは、インスタンススケーリングと読み取りスケーリングの 2 つの方法でスケールできます。読み取りスケーリングの詳細については、「読み取りのスケーリング」を参照してください。 DB クラスター内の各 DB インスタンスの DB インスタンスクラスを変更することで、Aurora MySQL DB クラスターをスケーリングできます。Aurora MySQL は、Aurora 用に最適化された複数の DB インスタンスクラスをサポートしています サイズが 40 TB より大きい Aurora クラスターには、db.t2 または db.t3 インスタンスクラスを使用しないでください。Aurora MySQL でサポートされている DB インスタンスクラスの詳細な仕様については、「Aurora DB
Dockerで使い捨てできるMysqlコンテナを構築 | Ver.1.0 Blog
自分のローカル環境で、複数のMySQL使わないといけない時ってありますよね？ 仕事ではちょっと古めのバージョンを使ってるけど、プライベートの開発では最新の使いたいなどなど そんな時はDockerを使って使い捨てのMy SQL環境を構築しましょう。 Dockerを使えば、起動時に必要なデータベース、ユーザーを作成してくれるので一度環境さえ作ってしまえば、使い捨てのデータベースを作成したり、捨てたりを結構カジュアルにできます。 Dockerの公式イメージを取得 Dockerの基本はこちらにまとめているので、Dockerの基本的な操作がわからない方はこちらを参照ください。 DockerでRails + Nginx + Postgresの環境を構築する。その① また、Dockerのインストールがまだの人はこちらでインストールしましょう。 今回は、My SQL環境の構築にMy SQLの公式イメージを
ちょっと待って！Auroraを使う時にMulti-AZが本当に必要ですか？
ウィスキー、シガー、パイプをこよなく愛する大栗です。 Auroraへ移行するお話を頂くことが増えてきました。そこでAuroraへの移行時における冗長化のポイントを考えてみました。 RDSのSLA定義はMulti-AZが前提である旨を追記しました。 そもそもMulti-AZって？ ここではMySQLの場合のMulti-AZについて述べます。 Single-AZでは、以下の問題があります。 耐久性： ストレージボリュームで障害が発生した時には、「最新の復元可能な時刻」以降のデータ更新が失われる。 可用性： ハードウェア障害が発生した時に、インスタンスを再作成するため再接続までの時間が必要になる Auroraを除くRDSではストレージボリュームにEBSと同等のものが使用されているようなので通常のディスクに比べて高い可用性と信頼性を備えています。 補足すると、EBSについての具体的な数字としては「
joinしているテーブルでUsing temporary; Using filesort が出て遅い時 - ぶろぐ
Railsを触るヽ('ω')ﾉ三ヽ('ω')ﾉ とある日MySQLのチューニングをしていると Using temporary; Using filesort に出会う。 記事テーブルとコメントテーブルをjoinしているようなクエリ。とあるカテゴリの最新のコメント3件がほしい、またコメントしている記事の情報もほしい。 WHERE句で使っている検索条件のテーブルが、２つのテーブルでまたがってしまっている場合、一度JOINした後にSORTなどいろいろやらねばならず無駄である。先にレコードを絞ってからjoinしたほうが効率的。*1 そのため、１つのテーブルに検索条件を寄せて、Using filesortが出ないようにした。 NG case SELECT `comments`.*, `post`.* FROM `comments` INNER JOIN `posts` ON `posts`.`id`
MySQLのUsing Temporaryについて - aeroastroの日記
Using Temporary とは MySQLにおいて、EXPLAIN文を用いてクエリの実行計画を見るときに、この文字列が出る可能性があります。例えば、以下のような場合です。 mysql> CREATE TABLE `books` ( -> `id` int(10) unsigned NOT NULL AUTO_INCREMENT, -> `title` varchar(255) NOT NULL, -> `author` varchar(255) NOT NULL, -> `description` varchar(255) NOT NULL, -> `extra` TEXT, -> `released_at` datetime NOT NULL, -> PRIMARY KEY (`id`) -> ) ENGINE=InnoDB DEFAULT CHARSET=utf8; Query
LOAD DATA INFILEステートメントの中でカラムの順番とかをゴニョる
TL;DR LOAD DATA INFILE ステートメントで、CSVなりTSVなりのフィールドの並び順とテーブルのカラムの並び順が一緒じゃない時にほげる方法とか 読み取った値を加工してからテーブルに突っ込む方法とか "tweet_id","in_reply_to_status_id","in_reply_to_user_id","timestamp","source","text","retweeted_status_id","retweeted_status_user_id","retweeted_status_timestamp","expanded_urls" "878118626489802752","","","2017-06-23 05:12:49 +0000","<a href=""http://twitter.softama.com/"" rel=""nofollow""
MySQLのgroup_concatで複数レコードを1行にまとめる - 文系プログラマによるTIPSブログ
実は非常に有用で、この機能が実は欲しかった！と言う方が続出する機能なのですよね〜 全然知らなかったのですが、mysqlでは複数レコードを1行にまとめる事ができます。 複数行をカンマ区切りにしたり、結構有効に使えそうです。 テーブル・データの準備 テーブル データ 実際に実行してみる 普通にselectしてみる group_concatしてみる group_concat + distinct group_concat + group by テーブル・データの準備 早速サンプルコードを。 テーブル mysql> create table gc1(id int auto_increment, uid int, name varchar(30), primary key(id))engine=innodb charset=utf8mb4; Query OK, 0 rows affected (0.
MySQL 8.0登場！立ち止まることを知らない進化はこれからも続く。
ゴールデンウィークはいかがお過ごしされただろうか。今年は天気も良く、行楽日和が続いたように思う。 さて、先日MySQL 8.0が正式にリリースされた。少し時間が経ってしまったが、今回はMySQL 8.0の新機能について紹介したい。コミュニティ版のダウンロードはこちらから可能だ。 ひとつ前の正式バージョンはMySQL 5.7だったのだが、MySQL 8.0は非常に大きなリファクタリングが含まれており、5.x台のバージョン番号を捨て去ろうという話があった。そこで、次のメジャーバージョンは最初の桁を増やすということになったのだが、MySQL 6.0は過去に既に存在し、買収などの騒ぎで開発が頓挫してしまった経緯がある。7.xはMySQL NDB Clusterと被っている。というわけで、5.7の7の部分の次という意味合いもあって、8.0というバージョン番号を引っさげ、満を持しての登場となった。その
EmbulkでMySQLからElasticSearchにデータをロードしてみた - Qiita
MySQLに入っている時系列データをelasticsearchに入れて、kibanaで可視化したときのメモ. 「elasticsearch MySQL」とかでググると、JDBC river pluginを使え的な記事が出てくるのだが、どうやら このriver pluginはdeprecated になっているようだった。 そこでembulkを使ってみたのだが、思いのほかさくっとできたのでメモ。 ざっくり外観 こんな感じのことをやる. elasticsearch + kibana のインストール どちらも、ダウンロードして起動プログラム・スクリプトを実行するだけですぐに動作するので詳細は本家サイトを参照. elasticsearchはJavaで動くのでJavaのインストールが必要. kibanaはnodeで動作するが、node自体が同梱されているので気にしなくても動作する. ダウンロードサイト
nginxのログをtd-agentを利用して、MySQLに突っ込んでみた 〜アクセスログのデータベース化 - Database JUNKY
nginxのログを収集したいので、td-agentを入れることにした。そのあとどうするかは考えます ここでは、nginxのログの設定から、Fluentdの設定を行い、最終的にMySQLのテーブルにログを吐くところまでを記載したいと思います かなりの長編ですが、皆様の環境でもこの通りやれば、かならず、、動くはずです。。動くといいな。。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus) nginx実践入門 (WEB+DB PRESS plus) 作者: 久保達彦,道井俊介出版社/メーカー: 技術評論社発売日: 2016/01/16メディア: 単行本（ソフトカバー）この商品を含むブログ (5件) を見る td-agentのインストール インストールはこれだけです curl -L http://toolbel
AWS LambdaでAmazon RDS for MySQLへ接続する(Node.js 4.3 + KMSで暗号化したMySQL接続パスワードをkms.decryptで復号化してMySQLヘ接続 + バッチ実行をSNS通知する) - Qiita
AWS LambdaでAmazon RDS for MySQLへ接続する(Node.js 4.3 + KMSで暗号化したMySQL接続パスワードをkms.decryptで復号化してMySQLヘ接続 + バッチ実行をSNS通知する)Node.jsMySQLAWSlambdakms はじめに Node.js 4.3でAWS Lambdaファンクションを作成し、MySQL(Amazon RDS for MySQL)へ接続するサンプルです。 Lambdaファンクション内のMySQL接続パスワードは平文ではなく、AWS Key Management Service(KMS)により暗号化したMysQL接続パスワード文字列を記載し、Lambdaファンクション実行時にkms.decryptでパスワードを復号化してMySQLデータベースへ接続します。 また、Lambdaファンクションの実行をAWS SNSで
InnoDBのロールバックがあとどれくらいかかるかをなんとなく見積もる | GMOメディア エンジニアブログ
こんにちは、DBAのたなかです。 MySQLに向かってテキトー(またはテキトーでない)な更新クエリーを放り投げたは良いけれど、なかなか返ってこなくてCtrl+Cで停止したり、killステートメントでスレッドを殺したり、もしくは流れ終わったけど想像通りにいかずにROLLBACKしたり。そんな経験ありませんか？ 私はあります。というかこの記事書いてるという時点で何かを察していただけるとありがたい。 Undoセグメント(デフォルトではibdata1上にある)からデータを引っ張りだしてバッファプール上に展開する以上、InnoDBのロールバックはまあそれなりに重いわけで、というか更新そのものよりもロールバックの方がよっぽど重い。 それは重々承知の上なんだけれど、ロールバックしてる時というのは往々にして「動け！ 動け！ 動いてよ！ 今動かなきゃ、今やらなきゃ、みんな死んじゃうんだ！」状態になっているの
RDSのクエリ調査 - Qiita
RDSのクエリ調査を実施する際にすべきこと。 （１）RDSの設定 general_log：1 ・・・全てのクエリをログに残す slow_query_log：1 ・・・スロークエリ（時間のかかっているクエリをログに残す） long_query_time：1 ・・・スロークエリの時間（秒） （２）設定確認 show global variables like 'general_log'; show global variables like 'slow_query_log'; show global variables like 'long_query_time'; （３）全クエリの確認 select * from mysql.general_log; （４）スロークエリの確認 select * from mysql.slow_log; Register as a new user and u
MySQLインデックスのチューニング | StrapyaNext Engineers'Blog
Posted 2011年11月13日 by 山口 & filed under MySQL. MySQLにおけるSQLチューニングのステップ。 1.インデックスを理解する 2.実行計画を取得する(EXPLAIN)。 3.チューニングを行う 4.構造から設計を見直す 今回は2.の、実行計画を取得する(EXPLAIN)にフォーカスする。 実行計画とは、簡単にいえばMySQLのオプティマイザ(処理を効率化しようとする機能) が選択したSQLの内部的な処理手順をいう。 実行計画の取得は”EXPLAIN”をSELECT句の前に置き、 SQLを実行するだけである。 EXPLAINの出力結果にはテーブルの結合順序や、使用するインデックスなど データへのアクセス方法に関する情報が含まれているため、そのSQL文が 効率的かどうかを知ることができる。 実行計画を取得するうえでの注意は、 ・テスト対象となるデータ
MySQLのEXPLAINを徹底解説!!
以前、MySQLを高速化する10の方法という投稿で「EXPLAINの見方についてはいずれ解説しようと思う」と書いてしまったので、今日はその公約？を果たそうと思う。 MySQLのチューニングで最も大切なのは、クエリとスキーマの最適化である。スキーマの設計は一度決めてしまうとそのテーブルを利用する全てのクエリに影響してしまうためなかなか変更することは出来ないが、クエリはそのクエリだけを書き直せば良いので変更の敷居は低い。そして遅いクエリをなくすことは、性能を大幅に向上させるための最も有効な手段である。従って、アプリケーションの性能を向上させたいなら、まず最初にクエリのチューニングを検討するべきなのである。 最適化するべきクエリはスロークエリログやクエリアナライザで見付けられるが、ではそのようなクエリが見つかった場合にはどのように最適化すればいいのか？そのためにはまず現在どのようにクエリが実行さ
【MySQL】総メモリー使用量を算出するSQL作ってみた - もぐめぽろぐ
必要メモリ量＝グローバルバッファのサイズ＋（各スレッドのバッファサイズの合計 × 最大接続数(max_connections)） 各スレッドのバッファサイズの合計とは、以下の値の合計値です。 sort_buffer_size myisam_sort_buffer_size read_buffer_size join_buffer_size read_rnd_buffer_size グローバルバッファのサイズは、以下の値の合計値です。 key_buffer_size innodb_buffer_pool_size innodb_log_buffer_size innodb_additional_mem_pool_size net_buffer_length ※実践ハイパフォーマンスMySQL による とあるのだが、一般的にいわれてる計算式はさらにそれに+query_cache_sizeがプラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
show innodb status
AWS CLIでRDSのスロークエリを見る - Qiita
株式会社アンタス - 次の時代のマーケティングテクノロジーを
Converting Heap to MyISAM issue