MySQL から Amazon Aurora のリードレプリカを作成して移行してみた | はったりエンジニアの備忘録
RDS for MySQL から Amazon Aurora への移行を検討していたら、タイミングよく便利な機能がリリースされました。 New - Create an Amazon Aurora Read Replica from an RDS MySQL DB Instance いま稼働している MySQL から Aurora のリードレプリカを作成し、そのリードレプリカを昇格させることで簡単に MySQL から Aurora へ移行できるという機能です。 これまでも MySQL のスナップショットから Aurora クラスタを起動することはできましたが、今回のリードレプリカを使えば移行時のダウンタイムを最小化できます。 リードレプリカの作成と昇格 対象となる MySQL を選択して "Create Aurora Read Replica" をクリックするだけ。拍子抜けするくらい簡単です
Auroraクラスタのレプリケーションクラスタを作成 | 外道父の匠
とあるAuroraクラスタの、完全なデータコピーかつ最新データも元クラスタからレプリケーションで反映し続けるクラスタって作れるのかなーと調べてみると、公式のユーザーガイドにも一般情報にも見つからないしで、裏技臭がしたので書き留めておきます。 実はわりと常識レベルだったりしたらゴメンナサイって感じですが・・・おそらく仕様変更など入らず、ずっと使い続けられるテクニックだと推測できる内容であります。それでは、Auroraクラスタの完全コピーを作りたくなった理由も含めて、まとめていきたいと思います。 Auroraの基本的なレプリケーション Auroraの復習ですが、Writer(=Master) と Reader(≒Slave) は共通のディスクを利用することで、極小さな遅延（10-20ms）でのデータ共通化を実現しています。なので、Writer/Reader間は従来のbinlogを用いたMySQ
MySQL データベースに大量のテーブルを置いたらパフォーマンスが落ちた話 | バシャログ。
仮面ライダーエグゼイドのあの仮面ライダー離れしたまなざしにはあと何週間で慣れるだろうか、とぼんやり考えている kagata です。 さて、今回は最近遭遇したデータベースの障害についてのお話です。 事例 こんな構成のデータベースサーバがありました。 ストレージタイプ「汎用（SSD）」の Amazon RDS MySQL 5.6系 ストレージエンジンは InnoDB File-Per-Table モードが有効 あるとき、このサーバのパフォーマンスが急に落ちるということがありました。システムに大きな変更は入れていないはずなのに、スロークエリが急に増えてしまいました。 サーバの状態を確認したところ、下のような警告を出力しているのが見つかりました。 DB Instance * has a large number of tables and has the parameter innodbfilep
【新機能】Amazon Aurora で読み込みエンドポイントが利用可能になりました | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日、Amazon Auroraで読み込みエンドポイント（Reader Endpoint）が発表されました。今までは、インスタンスエンドポイント（Instance Endpoint）とクラスターエンドポイント（Cluster Endpoint）が利用できましたが、新しいエンドポイントについて試してみました。 読み込みエンドポイントとは 現在Auroraには、以下の3種類のエンドポイントがあります。クラスターエンドポイントはWriterを指すエンドポイントで、インスタンスエンドポイントは各インスタンスを指しエンドポイントです。今回追加された読み込みエンドポイントはReaderを指すエンドポイントです。 クラスターエンドポイント（Cluster endpoint） インスタンスエンドポイント（Instance endpoint） 読み込みエ
【新機能】Amazon AuroraでCross-Region Read Replicaが可能になりました！ | DevelopersIO
【新機能】Amazon AuroraでCross-Region Read Replicaが可能になりました！ ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日Amazon AuroraでCross-Region Replicationの構成が可能になりました。MySQLではCross-Region Replicationが出来ましたが、Auroraでも利用可能となります。なお、既存のAuroraクラスタではバージョンを上げて1.6.5以上にする必要がありそうです。 AWS What's New:Amazon Aurora now supports cross region replication AWS Blog:Cross-Region Read Replicas for Amazon RDS for MySQL Cross-Region Replication？ AWSでは、
Amazon AuroraをMySQLと比べてみた（後編） | Nedia What's up!
前編 ではAmazon Auroraの紹介をいたしました。 後編となる今回は前編でも紹介したように、本当にMySQLと比べて5倍速いのか？について検証していきたいと思います。 検証環境 MySQL 5.6.27 db.r3.large Amazon Aurora（MySQL 5.6.10a互換）db.r3.large 設定は初期値のままです。 上記のRDSインスタンスにEC2インスタンスからアクセスして、sysbenchを使ってベンチマークを行います。 ベンチマーク準備 EC2インスタンスへsysbenchのインストール SysbenchはEPELでrpmが用意されていますが、EC2のAmazon Linuxでは使えないのでtarballからインストールします。 # cd /usr/local/src # wget http://downloads.mysql.com/source/sys
Amazon RDS for MySQLインスタンス作成手順 - Qiita
はじめに Amazon Web Serviceが提供するマネージド型リレーショナルデータベースサービス「Amazon RDS」でMySQLデータベースのインスタンス(Amazon RDS for MySQLインスタンス)を作成する手順です。 Amazon RDS for MySQLインスタンス(MySQLバージョン5.6.27のMySQLデータベースサーバ)を作成し、Amazon EC2インスタンス(Amazon Linux)からMySQLデータベースへ接続して利用開始するまでの手順について記載致します。 Amazon RDSについて Amazon RDSのサービス詳細については、以下をご参照下さい。 EC2インスタンス作成時に使用したAMI Amazon RDS接続テスト用のEC2インスタンスについては、以下のAMIを選択して作成します。 ・Amazon Linux AMI 2015.0
Pelletkachels.nl
Pelletkachels waren ooit eenvoudige apparaten voor verwarming, maar ze hebben een opmerkelijke evolutie doorgemaakt sinds hun bescheiden begin in de jaren ’80 van de vorige eeuw. In dit artikel duiken we diep in de geschiedenis van pelletkachel, bespreken we de belangrijkste mijlpalen en ontwikkelingen op het gebied van subsidiemogelijkheden en werpen we een blik op de transformatie tot moderne en
RDS for MySQLのスロークエリーログをAWS LambdaでElasticsearchに取り込む | DevelopersIO
はじめに 藤本です。 Elasticseachに取り込むネタが続いています。 前回のELBのアクセスログをAWS LambdaでElasticsearchに取り込むに続いて、今回はRDS for MySQLのスロークエリログをElasticsearchに取り込む実装をご紹介します。 概要 MySQL Serverはスロークエリーログにより指定した秒数を超えるクエリを記録することができます。スロークエリログはパフォーマンス劣化の解析、クエリの適切性、DBのマシンパワーの適切性のチェックに役立ちます。RDS for MySQLも例外ではありません。パラメータグループを設定することにより、スロークエリログを有効にすることができます。それに加えてRDS for MySQLの場合、AWSのAPIによりデータベースに接続せずともスロークエリログを取得することができます。 スロークエリログフォーマット
Amazon Auroraを真に理解するための性能検証 | 外道父の匠
今回は、まだ全然底が見えていないAuroraのガチンコ検証となります。公式資料に、発表当初の簡単な検証数値もありますが、自分でやらないと理解できない部分が多くあるためです。 既にAuroraにするだけで従来より速くなる説は有力ですが、なぜ速くなるのか、どのような点に注意を払って運用すべきなのか、といったことを理解するために、より局所的な検証をいくつか行って考察していきたいと思います。 目次 楽しい検証になって長くなりましたので、目次を置いておきます。 はじめに クエリのレスポンスタイム クエリキャッシュ CPU利用率とIOPSの性質 データ容量とストレージ性能の関係 インスタンスタイプとストレージ性能の関係 運用面の色々 何がボトルネックになるか はじめに いくつか前提的なものを。 ベンチマークは全て、sysbench を使ってテストデータ作成・ランダム参照／更新クエリを実行しています デ
RDSのtimezoneを調整する。 - Nekakoshi’s blog
事の発端 RDSで作成したmysqlで以下のコマンドを実行した所「UTC」である事が判明 mysql > SELECT date(); これはあかん。 ということで対策を取る。 とりあえず変更してみる。 SESSIONでTimeZoneをTokyoに変更する。 mysql > SET SESSION time_zone = ‘Asia/Tokyo’; するとTimeZoneが日本時間になることが判明する。 しかし問題があることがわかった。 ・再起動した場合に時間が「UTC」に変更される。 「SESSIONだからダメだよなー」と思って GLOBALでコマンドを実行した所、RDSはrdsadminユーザ以外出来なさそう。とのこと。 (詳しくは調べてないけど。) そのためSESSIONにての変更は再起動しない限定となる。。 次へ進む init_connectにストアドを突っ込む SESSIONは
Fluentdを使ってRDSのSlowLogをSlackに通知する - Qiita
これはなにか RDSのSlowLogをSlackに通知したかった。 AWSのAPIで download-db-log-file-portion があったが通知するには使い勝手が悪かったので MySQLのテーブルにSlowLogを保存して、それをFluentdからSELECT & Clear をすることにした。 この記事はMysqlの設定なので、他のDBの場合はよしなに変更してください。 使ったもの fluent-plugin-slack : https://github.com/sowawa/fluent-plugin-slack fluent-plugin-rds-slowlog : https://github.com/kenjiskywalker/fluent-plugin-rds-slowlog RDSの設定 Parameter Group slow_query_log : 1 l
スナップショットを使用してRDSをMySQLからAuroraへ移行する | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 最近、既存のRDS on MySQLからAuroraへ移行したいと考えているという話をよく伺います。Auroraには既存のRDS on MySQLからAuroraへデータ移行ができる仕組みがあるのでご紹介します。 2014年12月22日の時点でAuroraはLimited Previewです。本番環境での使用は控える方が良いと思われます。 MySQLでスナップショットを取得する まずMySQL側でスナップショットを取得する必要があります。そのスナップショットには以下の要件があります。 取得元のMySQLは5.6である。 ストレージエンジンはInnoDBである。 innodb_file_per_tableが無効である。 ※：RDSのスナップショット取得は、1つのAWSアカウント当り同時に１つしか実行できません。 Aurora側でスナップシ
「Amazon RDS」vs「オレオレRDS的な何か」（序章） - misc.tech.notes
こんばんは。最近、MySQLじゃなくPostgreSQLを触っていますが、心はいつもMySQL派な @marcy_terui です。 この記事は MySQL Casual Advent Calendar 2014 の15日目の記事です。 ちょっと16日目にかかってしまったので、怒られやしないかとgkbrしてま（ｒｙ MySQL Casual Advent Calendar 2014 - Qiita 「Amazon RDS」vs「オレオレRDS的な何か」 #とは ベンチマーク対決とかじゃありません。 日頃お世話になっている便利なRDSさんですが、そんな便利さに甘んじて… 「RDS以外でまともにMySQLを運用できない」 なんてことにならぬよう、 「俺のRDS」が「Amazon RDS」にどこまで迫れるか 的な意味での対決になります。 また、その無駄な車輪の再発明を通して、改めてMySQL及び
RDSの新エンジン”Aurora”にログインしてみた | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 re:Invent 2014の注目新機能の一つであるRDSの新エンジン"Aurora"のPreviewが通ったので試してみました。 本内容はRDS for AuroraのPreview中の内容となります。正式リリース後の内容とは異なる可能性がありますので、ご注意下さい。 Aurora re:Invent 2014のKeynoteで発表されたAuroraの特徴を確認しておきましょう。AuroraはMySQL 5.6と互換性があり、高速、かつ可用性と耐久性があり、高いスケーラビリティもある、AWSが3年をかけて開発したRDBMSです。 AWSがsysbenchを使用した結果では通常のMySQLに比べて５倍のパフォーマンスが出たという、恐ろしく速いDBなので皆さんが注目しています。 Auroraを起動する Auroraのドキュメントを元にAu
%25E3%2581%25AB%25E6%258E%25A5%25E7%25B6%259A%25E3%2581%2599%25E3%2582%258B)
AWS LambdaでMySQL(RDS)に接続する - so what
AWS LambdaでMySQL(RDS)に接続できるか試してみた。 テストスクリプト ※あいかわらずlambchop使ってます。超便利！ test.js #!/usr/bin/env lambchop /* function_name: test role: arn:aws:iam::123456789012:role/lambda_exec_role handler: test.handler */ var mysql = require("mysql"); exports.handler = function(event, context) { var conn = mysql.createConnection({ host: "xxx.xxx.ap-northeast-1.rds.amazonaws.com", user: "root", password: "..." }); c
Amazon RDS における MySQL 5.6 のパラメータ設計例 - bekkou68 の日記
(最終更新日: 2017/9/25) はじめに production 環境で MySQL 5.6 動かすためのパラメータ設計についてまとめました。この記事がカバーする内容は次のとおりです。 パラメータを設定するスクリプト。 各パラメータにおける変更するかどうかの判断基準。 想定されるメモリの消費サイズを算出してパラメータが妥当かどうか確認する方法。 サービスの状況に応じててきぎ読みかえてください。 【結論】パラメータグループ作成・パラメータ設定のスクリプト 結論として、パラメータグループを作成し、パラメータを設定する aws-cli のスクリプトを置きます。Amazon AWS の Web Console から設定することもできます。 #!/bin/sh # == パラメータグループ作成 aws rds create-db-parameter-group --db-parameter-gr
Amazon RDS for MySQLでIPブロックが発生してしまった場合の対処 | DevelopersIO
よく訓練されたアップル信者、都元です。先日、アプリケーションがRDS for MySQLに接続を試みた際、下記のようなエラーが発生しました。 Host '10.x.x.x' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts' さらっと調べてみると、公式ドキュメントB.5.2.6に詳細がありました。システム変数のmax_connect_errorsの値以上連続で接続失敗すると、ブロックしてしまうようですね。この値はデフォルト100（MySQL 5.6.6以前は10）ですので、100回連続で接続失敗する何かがあったんでしょうな。。。 エラーメッセージによるとmysqladmin flush-hostsすることで解消する、とありますが、RDSではadmin権限を持ったユーザを使うこ
Amazon Linux + Apache2.4 + MySQL5.6 + Ruby 2.1 の新しめな環境を構築する - やりたいことをやってゆく
以下のAMIをインストールしたところから。 AMI：amzn-ami-minimal-pv-2014.03.2.x86_64-ebs (ami-63dc9262) ※Micro Instance または、EBS 2G にしているとRubyインストール時に足りなくなるので余裕を持たせること。 →この環境構築時は、m1.midium と 4G で構築。 #時刻を日本時間へ ======================================== sudo cp /usr/share/zoneinfo/Japan /etc/localtime #まずはOS更新 ======================================== sudo yum -y update #MySQL(5.6)のインストール ====================================
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RDS for MySQLからAuroraに移行した話 / RDS for MySQL to Aurora
