RDS(MySQL)のスロークエリログで設定した閾値(long_query_time)が反映されていない | DevelopersIO
困っていた内容 RDS(MySQL)でスロークエリログをCloudWatch Logsに出力しています。 DBパラメータグループで設定した閾値(long_query_time)よりも短い実行時間のクエリもログとして記録されてしまうのですがどうしたらいいでしょうか？ 原因 log_queries_not_using_indexes の設定値が1(TRUE)になっているため。 log_queries_not_using_indexes: インデックスを使用しないすべてのクエリをスロークエリログに記録するには、1 に設定します。デフォルトは 0 です。インデックスを使用しないクエリは、その実行時間が long_query_time パラメータの値未満であってもログに記録されます。 どう対応すればいいの？ インデックスを使用しないクエリが記録されなくなっても問題ないかを確認した上で スロークエリロ
Amazon Auroraのデータを高速に『巻き戻す』Backtrack機能がリリースされました！ | DevelopersIO
2018年5月11日 Backtrackの料金情報を追加 大栗です。 個人的にAuroraのアップデートをずっと追っているのですが、アナウンスされてからリリースがされておらずずっと気になっていたBacktrackという即座に過去の状態にもどる機能がリリースされたのでレポートします。 Amazon Aurora Backtrack – Turn Back Time Announcement: Amazon Aurora Backtrack Can Move a Database Back in Time Backtracking an Aurora DB Cluster Backtrackとは？ そもそもはre:Invent 2016のBreakout Sessionで『オンライン ポイントインタイム リストア』としてアナウンスされていました。 【レポート】DAT301: Deep-dive
Amazon RDS for MySQL と全文検索 | DevelopersIO
こんにちは、藤本です。 先日開催された Developers.IO 2017 で「Amazon Elasticsearch Service の使いドコロ」というタイトルで登壇しました。 Developers.IO 2017セッション「Amazon Elasticsearch Service の使いドコロ」で話しました #cmdevio2017 資料を作成する中で MySQL 5.7 から追加された全文検索の日本語対応に関して調べました。せっかくなのでまとめた内容をブログに書き出すとともに、RDS だとどこまでできるのかということを追加調査してみました。 MySQL 5.7 の日本語全文検索に関しては公式ドキュメントや、Oracle の方のスライドに詳しく説明されていますので、詳しく知りたい方は下記をご参照ください。 12.9 Full-Text Search Functions MySQL
[新機能]Amazon Auroraで高速にクローンを作成できます | DevelopersIO
大栗です。 Amazon Auroraでデータベースのクローンを作成できる機能がリリースされました! Amazon Aurora Introduces Database Cloning Capabilities Release: Amazon RDS on 2017-06-12 データベース・クローン データベースのクローンはre:Invent 2016でアナウンスされていたのですが、既存のAuroraクラスタを素早くコスト効率よく複製する機能です。データベースのクローンではCopy-on-Writeプロトコルを使用しており、ソースデータベースかクローンデータベースで書き換えが発生した時にデータがコピーされます。 Copy-on-Writeプロトコル Copy-on-WriteはOSのメモリ管理などでよく使用されますが、データの複製を行う時に実際にはコピーせずに同じデータを共有して複製時か
MySQL のサブクエリって、ほんとに遅いの？ | DevelopersIO
こんにちは、みかみです。 今日のクラスメソッドのAWSおみくじ、RDS（t1.micro）でしたー！（昨日は Aurora！＠＠ｖ はじめに 前職＠アプリ開発時、MySQL のクエリチューニングをさせていただく機会がありました。 ユーザー入力のキーワードで全文検索 → 見つかったレコードを返すのですが、所要時間、約3分。。 Apache タイムアウトして画面真っ白。。。（泣きそうでした＞＜。 EXPLAINで実行計画を調べた際に、select_typeにはクエリの種類が表示されるのだが、代表的なサブクエリには次の3つのパターンがある。 SUBQUERY DEPENDENT SUBQUERY DERIVED 結論から言おう。遅いのは2番目、DEPENDENT SUBQUERYである。DEPENDENT SUBQUERYとはいわゆる相関サブクエリに相当するもので、サブクエリにおいて外部クエリの
[DMS] MongoDBからRDS MySQLへのレプリケーションを試す | DevelopersIO
こんにちは、菊池です。 MongoDBからのDMSレプリケーション、S3ターゲットに続きMySQLでも試してみました。これまでの記事は以下を参照ください。 Database Migration Service の Source に MongoDB が選択可能になりました！ [DMS] MongoDB Sourceのマイグレーションモードを比較する [DMS] MongoDB：テーブルモードのデータパターン検証 検証 SourceとしてEC2で動作するMongoDBのレプリカセット、TargetとしてRDS MySQLインスタンスを利用します。 Source MongoDB 3.4.2 レプリケーションモード：テーブルモード Target RDS for MySQL 5.6.27 初期データのマイグレーション まずはデータを1つMongoDBに挿入し、レプリケーションを実行します。 s0-r
![[DMS] MongoDBからRDS MySQLへのレプリケーションを試す | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e59904c0a159dfc457327d272461b59b3bdf7ae8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F01%2Feyecatch_dms.png)
サーバーレスでAuroraの実行中クエリをCloudWatch Logsへ出力する | DevelopersIO
大栗です。 RDSで障害が発生する一因として、想定外に長時間実行しているクエリが邪魔になっていることがあります。RDS for MySQLやAuroraの場合はSlow Queryで長時間実行されたクエリは分かりますが、実行が完了したものしか出力されないため現在動いているものはshow processlist;を実行して実行中のクエリを確認する必要があります。監視システムで定期的にRDSにログインして実行すれば良いのですが、面倒なのでEC2を使わずに実装してみました。 全体概要 Auroraの場合は、ストアドプロシージャ経由でLambdaを実行できます。この機能とMySQLが持っているスケジュール機能を利用します。 AuroraのEvent Schedulerでinformation_schema.processlistの内容を取得してlambda_asyncを呼ぶ LambdaでPROC
しがないOLのはじめてのMySQL | DevelopersIO
はじめに お久しぶりです。クニ吉です。 この度、事務職から異動になりまして、今後は今までとはちょっと違った路線の投稿が増えると思います。これからもよろしくお願いします(^^) さて、早速ですが、今回は「MySQL」について書いていきたいと思います。私自身が初めてなので、超初心者向けになります。プロの方は本サイトの他の記事を読むことをお勧めします。 ちなみに私はAccessでSQL文を書いたことがある程度の知識しかありません。 前提 本記事におけるMySQLのバージョンは、「5.7.17」です。 本ブログの構成 MySQLとは MySQLのインストール データベース作成 テーブル作成 データ投入 データ集計（SUM関数） まとめ MySQLとは MySQLの前提としてデータベースについてのお話をさらっと。 データベース（DB）とは、複数で共有、利用を行なったり、検索や蓄積、加工を容易にできる
Amazon QuickSight チュートリアル実践：データベースデータ(MySQL/MariaDB)を使って分析を作成 | DevelopersIO
RDS（MySQL）環境 以下の様にRDS/MySQLを作成します。 より本番環境のユースケースに合わせるため、DBシステム管理者（root）以外にアプリケーションユーザー（cmuser）を追加して、そのユーザのテーブルをデータ分析の対象とします。 [ec2-user@ip-10-0-0-144 ~]$ mysql -h cmmysql.xxxx.us-east-1.rds.amazonaws.com -u cmuser -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 23 Server version: 5.6.27-log MySQL Community Server (GPL) Copyright (c) 2000, 2016
MySQL RouterでRDSのReplicaを負荷分散してみる | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 MySQLやAuroraでRead Heavyな環境だとだとRead Replicaを多数用意すると思います。多数のRead Replicaを効率的に使用するためにはリクエストの負荷分散が必須です。MySQLの負荷分散を行うためのプロダクトはいくつかありますが、今回はMySQL Routerを試してみました。 MySQL Router MySQL Router プロダクトのページにトップには、以下の様な記載があります。透過的なルーティングと言うことで、MySQLに接続するつもりでMySQL Routerに接続すれば良いということです。 MySQL Routerはアプリケーションと任意のバックエンドのMySQLサーバー間の透過的なルーティングを提供する軽量のミドルウェアです。データベースへの接続を適切なバックエンドのMySQLサーバーへ効
[レポート]MySQL 5.7 RC登場！MySQL最新開発ロードマップ in OSC2015 Hokkaido #osc15do | DevelopersIO
こんにちは、せーのです。今日は昨日、今日と2日間にわたって行われている「Open Source Confference」の北海道版、「OSC Hokkaido 2015」よりMySQL5.7に関する最新情報を速報としてレポート致します。スピーカーはOracleの梶山 隆輔氏。 レポート 2015年はMySqlに関して大事な数字が並ぶ年 Sun MicrosoftがOracleに買収されて5年 MySqlのストレージエンジン機能のデフォルトInnoDB(InnoBase)がOracleに買収されて10年 [日本MySQLユーザー会]が出来て15年 MySQLが世に出てから20年 枯れた印象もあるが新しいこともやっている MySQL Cluster 7.4GA データベースの中にFirewallを持つMySQL Enterprise Firewall MySQL 5.7。5.6より2倍速い、と
![[レポート]MySQL 5.7 RC登場！MySQL最新開発ロードマップ in OSC2015 Hokkaido #osc15do | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2ea97b24a571974aaf2cb80b5b357d42a728afa2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F06%2FOSC2015do_poster4dl.jpg)
[新機能] Amazon RDS for MySQLで、簡単に5.6から5.7へアップグレードできるようになりました | DevelopersIO
はじめに 今日は新機能のお知らせです。 Amazon RDS MySQL now supports point-and-click upgrade from MySQL 5.6 to 5.7 Amazon RDS for MySQLで、DBエンジンを簡単に5.6から5.7にアップグレードできるようになりました。具体的にはAWS管理コンソールからちょいちょいっとクリックするだけでアップグレードされます。 やってみた 以下のようなMySQL 5.6エンジンのAmazon RDS for MySQLがあります。ちなみにOption Groupは"default:mysql-5-6"、Parameter Groupは"default.mysql5.6"です。 [Instance Actions]-[Modify]をクリックします。 Modify画面の、[DB Engine Version]で、My
ちょっと待って！Auroraを使う時にMulti-AZが本当に必要ですか？
ウィスキー、シガー、パイプをこよなく愛する大栗です。 Auroraへ移行するお話を頂くことが増えてきました。そこでAuroraへの移行時における冗長化のポイントを考えてみました。 RDSのSLA定義はMulti-AZが前提である旨を追記しました。 そもそもMulti-AZって？ ここではMySQLの場合のMulti-AZについて述べます。 Single-AZでは、以下の問題があります。 耐久性： ストレージボリュームで障害が発生した時には、「最新の復元可能な時刻」以降のデータ更新が失われる。 可用性： ハードウェア障害が発生した時に、インスタンスを再作成するため再接続までの時間が必要になる Auroraを除くRDSではストレージボリュームにEBSと同等のものが使用されているようなので通常のディスクに比べて高い可用性と信頼性を備えています。 補足すると、EBSについての具体的な数字としては「
【アップデート】Amazon RDSでMySQL 5.7が使用可能になりました | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日RDSでMySQL 5.7が使用可能になったので、早速試してみました。 RDS for MySQL 5.7で何が変わった？ RDSでは対応した主なアップデート MySQL 5.7では様々なアップデートがあるので、一部をご紹介します。 ネイティブでのJSON対応。様々なJSON関数が追加されています。 実行計画のJSON出力が可能になり、詳細情報が出力可能になりました。 パラレルレプリケーションに対応しました。 Boost.Geometryを使用した空間インデックスのGIS対応。 innodb_buffer_pool_sizeの動的変更が可能になりました。 innodb_buffer_pool_dump_pctシステム変数が追加され、バッファプルからダンプするかとパーセンテージで指定できます。 バルクデータロードのパフォーマンスが改善
RDS MySQL5.5.33 で『utf8mb4』(4バイト対応UTF-8文字コードセット)を試してみた | DevelopersIO
ちょっとした小ネタです。RDS(MySQL)に於いて、『utf8mb4』に対応した環境が作成出来るか／対応しているかという件で確認する機会がありましたので、当エントリに備忘録的として記しておきます。 目次 『utf8mb4』とは RDS(MySQL)環境の用意 『utf8mb4』に対応したパラメータグループを作成・適用 『utf8mb4』関連パラメータグループ適用後の内容確認 『utf8mb4』とは この『utf8mb4』というもの、文字コードの一種で、UTF8で4バイト文字を扱う事が出来るものらしいです。 MySQLで4バイトのUTF-8文字を扱ってみる - HHeLiBeXの日記 正道編 また、それぞれのバージョンで扱う事が出来るCharacter Setの一覧も以下にメモしておきます。 MySQL :: MySQL 5.1 Reference Manual :: 10.1.13 Ch
JavaからMySQLに接続して登録する | DevelopersIO
はじめに データベースは作成されているものとし、データベース名・テーブル名は下記とします。 データベース名：「cm」 テーブル名： 「music」 ドライバの設定 今回はMySQLを使用するので、接続するために「JDBCドライバ」をダウンロードしてプロジェクトに結びつけます。 MySQL::Download Connector/J Eclipseの場合、プロジェクトフォルダを選択して右クリックから、 「Properties」 > 「Java Build Path」 > 「Libraries」タブ > 「Add External JARs...」 からダウンロードした ”mysql-connector-java-x.x.xx-bin.jar” を選択。 最後に「OK」か「Apply」を押して決定。 「Referenced Libraries」が生成されてドライバが登録されていると思います。
JavaでMySQLのデータベースにトランザクション処理 | DevelopersIO
はじめに 前回の「JavaからMySQLに接続して登録する」ではSQL文を１つ１つコミットしていましたが、今回は複数のSQL文の登録とトランザクション処理を紹介します。 トランザクション処理を行うと、複数のSQL文の内の１つ以上でエラーが発生した場合に、その全ての処理を無かった事にしてくれます。 テーブル こちらに登録します。 コード import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; public class ConnectionClass { static final String URL = "jdbc:mysql://localhost/cm"; static final String U
データ移行における『テーブルデータ定義の型変換』のまとめ(MySQL→Amazon Redshift編) | DevelopersIO
Amazon Redshiftへデータを投入・移行させる際のデータソースについては、様々な種類のデータソースが想定される事と思います。中でも『オンプレ環境のRDBデータ』というケースは結構な割合で想定されるのではないでしょうか。 Amazon Redshiftに対し、異なるデータソースからのデータを投入させる場合、当然の事ながら『データベーステーブルのカラムに於ける型の定義』はデータソース間でも微妙に異なったりします。移行元データソースのテーブル定義をそのままAmazon Redshiftのテーブル定義に当てはめる事が出来れば一番効率が良いのですが、中々そう上手くは行かない部分もあったりします。 そこで当エントリでは、移行元データソースのテーブル定義に対応するAmazon Redshiftのテーブル定義にはどのようなものがあるのか、データ型間の対応可否はどの様になっているのかという観点で情
DBにダミーデータを作成する「fake2db」を触ってみた | DevelopersIO
こんにちは、せーのです。今日はプログラマーなら重宝するであろうツールをご紹介致します。名前を「fake2db」といいます。 どんなもの？ こちらは名前のとおり「fake」なデータをDBに入れるツールとなります。本番稼働前の開発時はもちろん、本番稼働後も不具合のチェック等で確認したいが本番データは契約上使えない、というような場合にサッとダミーデータが作れるととても便利ですね。 概要 ではfake2dbの概要です。fake2dbはPython製でpipにてインストール致します。ダミーデータを作れるDBはsqlite, mysql, postgresql, mongodb, redisと大体のメジャーなDBは押さえているような感じです。 やってみる では早速やってみましょう。mysqlとpostgresqlで試してみます。AWSのRDSを使ってそれぞれのDBを立て、ツールインストール用にEC2を
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
