サーバーレスでAuroraの実行中クエリをCloudWatch Logsへ出力する | DevelopersIO
大栗です。 RDSで障害が発生する一因として、想定外に長時間実行しているクエリが邪魔になっていることがあります。RDS for MySQLやAuroraの場合はSlow Queryで長時間実行されたクエリは分かりますが、実行が完了したものしか出力されないため現在動いているものはshow processlist;を実行して実行中のクエリを確認する必要があります。監視システムで定期的にRDSにログインして実行すれば良いのですが、面倒なのでEC2を使わずに実装してみました。 全体概要 Auroraの場合は、ストアドプロシージャ経由でLambdaを実行できます。この機能とMySQLが持っているスケジュール機能を利用します。 AuroraのEvent Schedulerでinformation_schema.processlistの内容を取得してlambda_asyncを呼ぶ LambdaでPROC
【新機能】Amazon AuroraからLambdaを呼べるようになりました | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日Auroraで新しい機能が発表されました。なんとAuroraの中からLambdaを呼び出す事ができるようになりました！さっそく試してみました。 2017年2月現在AuroraがPrivate Subnetに有ってもLambdaをcallすることが可能になっています。 Amazon Aurora Update – Call Lambda Functions From Stored Procedures; Load Data From S3 Release: Amazon RDS on 2016-10-18 どういう機能？ 一言で書くと、『AuroraのストアドプロシージャでLambdaをInvokeできる』機能です。 ドキュメントによると、ストアドプロシージャは以下の通りです。 シンタックス CALL mysql.lambda_asy
Amazon Aurora Update – Create Cluster from MySQL Backup | Amazon Web Services
AWS News Blog Amazon Aurora Update – Create Cluster from MySQL Backup After potential AWS customers see the benefits of moving to the cloud, they often ask about the best way to migrate their applications and their data, including large amounts of structured information stored in relational databases. Today we are launching an important new feature for Amazon Aurora. If you are already making use
実録！サービスを止めずに Amazon Aurora へ移行した話 | 株式会社ヌーラボ(Nulab inc.)
Photo via Visual hunt ヌーラボアカウントではつい先日、Amazon RDS for MySQL から Amazon Aurora へと移行しました。ここでは、その経緯と実際に実施した作業を簡単にご紹介させていただきます。 移行の経緯 ヌーラボアカウントは Backlog や Cacoo、Typetalk といったヌーラボのサービスへの認証機能を提供しています。もし認証機能が使えないとすべてのサービスを利用できなくなってしまいます。そのため、ヌーラボアカウントには常に認証機能を提供し続けられるような、高いアベイラビリティが求められています。 ヌーラボアカウントではこれまで RDS for MySQL を利用していましたので、MySQL 互換を掲げる Amazon Aurora は、リリースされたときから移行の可能性を検討をしてきました。Aurora のメリットについては
Amazon Aurora
Amazon Auroraというクラウド上のRDBMSサービスがある。2015年の7月末にGAロウンチしたばかりのサービスだが、世界各国のユーザに非常に好評のようだ。 https://aws.amazon.com/rds/aurora/ Auroraをどう見るか、でクラウドの受け入れ度合いや現状の把握に使えると個人的には感じている。個人としてはAuroraほど画期的なサービスはDBでは今までなかったし、RDBMSの歴史の新しい1歩として認識している。ただあまりのシームレスさ、移行容易性、利用の簡便さに凄さに逆に気づきにくい状況がおきている。結果としてマーケティング的なムーブメントにはなりにくい状況で、個人としてはむしろそれが望ましいとも思っている。静かに深く世の中を変えていく、そんなサービスだ。ちなみにグローバルではOracleやSQL Serverからの移行が後を絶たない。理由の多くは、
Amazon Auroraの障害テストを試してみた。 | DevelopersIO
こんばんは、城内です。 最近、3歳半になる娘が『ちいさなプリンセス ソフィア』を観るようになって、急に妙なリーダーシップを発揮するようになりました。 両親共にそんな気質は持ち合わせていないので、どんな成長を遂げるのかちょっと不安です。。 といったどうでもいいプライベートな近況報告を織り交ぜながら、引き続き先日東京リージョンに上陸したAmazon Auroraを触っていきたいと思います。 はじめに 今回は、Auroraの障害テストを実施してみたいと思います。Auroraでシミュレーションできる障害は以下の4つです。 インスタンスのクラッシュ レプリカの障害 ディスクの障害 ディスクの輻輳 上記の内、インスタンスとレプリカ、ディスクの障害テストを試してみたいと思います。 （ディスクの輻輳は、ディスクの障害をやるからまいっか的なノリで外しましたw） 試してみる では、早速1つずつどんな挙動をする
スナップショットを使用してRDSをMySQLからAuroraへ移行する | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 最近、既存のRDS on MySQLからAuroraへ移行したいと考えているという話をよく伺います。Auroraには既存のRDS on MySQLからAuroraへデータ移行ができる仕組みがあるのでご紹介します。 2014年12月22日の時点でAuroraはLimited Previewです。本番環境での使用は控える方が良いと思われます。 MySQLでスナップショットを取得する まずMySQL側でスナップショットを取得する必要があります。そのスナップショットには以下の要件があります。 取得元のMySQLは5.6である。 ストレージエンジンはInnoDBである。 innodb_file_per_tableが無効である。 ※：RDSのスナップショット取得は、1つのAWSアカウント当り同時に１つしか実行できません。 Aurora側でスナップシ
【Aurora】とあるWebサイトのDBをAmazon Auroraに移行してみた | DevelopersIO
はじめに AWSチームのすずきです。 今月（2015年10月）よりAWS東京リージョンで利用可能となった、RDS for Amazon Aurora。 とあるサイトのCMS（WordPress）のバックエンドDBとして稼働していたRDS（mysql）を移行し、 Amazon Auroraの性能の一端を確認できる機会がありましたので、紹介させて頂きます。 概要 RDSのスナップショットより、スナップショットの移行（migrate）を実施しました。 ElasticBeanstalkの機能(クローン、DNSスイッチ）を利用して、RDS（Aurora）参照環境の構築と切替を実施しました。 DBの最終同期として、mysqldumpコマンドによるエクスポート、インポートを行いました。 システム概要図 移行手順 スナップショットの復元 AWSコンソール、RDSのスナップショット画面より復元対象とするRD
Amazon RDS編～Auroraへ移行してみる～
こんにちは！Narimasaです！ 今回は先日一般公開されたAmazon RDS Auroraへの移行手順について紹介します。 【AWS発表】 Amazon Aurora – Amazon RDSに費用対効果の高いMySQL互換のデータベースが登場!! 【AWS発表】 Amazon Auroraをご利用頂けるようになりました！ MySQLからAuroraへ移行する方法 Auroraの特徴の１つにMySQLとの互換性があるという点が挙げられます。 その為、mysqldumpを利用してデータをエクスポートしmysqlimportでデータをインポートするという移行手順も可能ですが、AWSコンソール側でダウンタイム無しに移行できる機能が用意されているので今回はそちらの手順をご紹介します。 注意点 Auroraが持っているMySQLとの互換性は5.6.10aのものとされている為、移行元のMySQLの
Amazon Aurora Replicaのフェイルオーバーを試してみる | DevelopersIO
はじめに Amazon AuroraがGAされました！ Now Available – Amazon Aurora Amazon謹製RDBMS「Amazon Aurora」がリリースされました！！！ Auroraの大きな特徴が、高い可用性です。Aurora以外のDBエンジンでRDSを構築した場合、マスターDBインスタンスのフェイルオーバー先はスレーブDBインスタンスに限定されており、リードレプリカが自動的にマスターに昇格することはありませんでした。Auroraではマスター(Writer)となるDBインスタンス以外はAurora Replicaとなります。マスターDBインスタンスがフェイルオーバーした場合、Aurora Replicaのどれかがマスターに昇格します。 そしてAurora Replicaは一つのDBにつき15個作成できます。つまり、Multi-AZの耐障害性と、リードレプリカの
Amazon Aurora/MariaDB/MySQLの違いを整理してみる #reinvent | DevelopersIO
日本にいます西澤です。ついに東京リージョンにやってきたAuroraに加えて、MariaDBもRDSで利用が可能となりました！ちょっと選択肢が増えすぎて違いがわからなくなってきたので、情報を整理してみたいと思います。 ついに！Amazon Auroraが東京リージョンに来ました！ #reinvent 【速報】Amazon RDSが新たに「MariaDB」に対応しました！ #reinvent MariaDB on Amazon RDSを触ってみた #reinvent RDS for MariaDBへのレプリケーション #reinvent Specify DB Details Launch時に指定する項目から、違いがあるところだけ整理していきます。Aurora、MariaDBもt2インスタンス等で検証ができるようになると良いですね。特筆すべきは、Auroraの可用性(自動復旧するし、ディスクは自
AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
MySQL5.7 / RDS / Aurora / Cloud SQL の性能比較 | 外道父の匠
CloudSQLの価格は実戦的という意味で、per Dayの価格を24hourで割った価格にしています。 メモリは2GBあれば検証としては十分なので格差は関係ありません。 IOPSはEBSならGeneral Purposeの1000GB*3で最大確保しています。 その他、ネットワーク周りなどポイントがあれば都度、補足していきます。 ベンチマークのデータ 今回、採取した全データはこちらになります。一部、目的に対して不要と判断したら省略しています。まぁ、こんなオレオレメモデータを見ても楽しくないでしょうから、１つ１つ考察していきましょう。 手法について 私がよくやる計測方法なのですが、innodb_buffer_pool_size がデータ容量より大きい健全な状態と、最小の16MBで過負荷ストレージを演出し、それぞれで参照／更新を別々にランダムアクセスをすることで、最初のボトルネックを炙り出し
AuroraのストレージのQuorum原理 - yoshidashingo
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 今回発表になった Amazon RDS for Aurora。最大の特徴はストレージが従来のRDS(Multi-AZ)における「完全同期なミラーディスク型のレプリケーション」方式でなく、「Quorumベースの非同期レプリケーション」方式が採用された点です。 Quorumの概念 Quorum自体の概念の説明はWikiなどを参照してください。ノード間で投票を行い、定足数が揃った処理を実行／破棄するという考え方です。 Quorum - Wikipedia 同期型のミラーディスク型から非同期のQuorum型へ Aurora以外のRDSのMulti-AZ配備は、マスターノードのディスクへの書き込みをブロックレベルでスタンバイ側に適用する完全同期なフィジカルレプリケーションを行っています。これにはいくつかの課題が考えら
Amazon RDSの新しいDBエンジン「Aurora」について気になるトコロ #reinvent | DevelopersIO
開発コストは掛かったでしょうから、さすがにMySQLと同価格、とは行かなかったようですが、概ね1.2倍強の価格で提供されています。詳しくは料金表を御覧ください。 ちなみに、インスタンスクラスの選択肢は、現状上記5種類のようです。開発環境用にt2シリーズも欲しいですねぇ…。 MySQL 5.6からのマイグレーション マイグレーションには2つの選択肢があります。1つ目は「mysqldump & mysqlimport」、単純にダンプして、それをAuroraに食わせればいいんですね。見た目にも分かりやすいです。 もう一つはMySQLのDBスナップショットからAuroraのインスタンスを立てることもできるようです。これは簡単。 制限事項としては2つ。MyISAMエンジンを使っている場合は、予めInnoDBに変換しておく必要があります。そもそもRDS for MySQLでは推奨されていなかったエンジ
AWS re:Invent breakout session 1日目 - すずけんメモ
re:Invent 2014 breakout session 1日目 個人的にメモっておきます。 Keynoteでは、AuroraがでたりConfigだったりCodeDeployだったりがでました。細かい機能の話は参照しておいて、所感中心で。 聴いたセッションは以下のとおり。 SDD406 -- Amazon EC2 Instances Deep Dive SDD415 NEW LAUNCH: Amazon Aurora: Amazon’s New Relational Database Engine BDT403 - Netflix's Next Generation Big Data Platform BDT402 -- Performance Profiling in Production: Analyzing Web Requests at Scale Using Amazon
［速報］Amazon Aurora発表。MySQL互換で性能5倍、商用リレーショナルデータベースと同等の機能を提供するマネージドなデータベースサービス。AWS re:Invent 2014
［速報］Amazon Aurora発表。MySQL互換で性能5倍、商用リレーショナルデータベースと同等の機能を提供するマネージドなデータベースサービス。AWS re:Invent 2014 Amazonクラウドを提供するAmazon Web Servicesは、同社の年次イベント「AWS re:Invent」を米ラスベガスで開催しています。 初日の基調講演では、クラウドがエンタープライズITにおけるニューノーマル（新しい普通）であることを強調。新サービスとして、MySQL互換でありつつ商用リレーショナルデータベース並の性能と機能を実現したという「Amazon Aurora」を発表しました。 MySQLとフル互換でありながら5倍の性能 Amazon Web Servicesシニアバイスプレジデント Andy Jassy氏。 既存のリレーショナルデータベースというのは高価で、プロプライエタリで
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
