Amazon Aurora MySQLとS3間でデータをロード&アンロードする | DevelopersIO
Amazon Aurora MySQL は、データを S3 にアンロード(SELECT INTO OUTFILE S3) S3 からロード(LOAD DATA FROM S3) できます。 実際にやってみます。 他のDBエンジンについては、以下の記事を参照ください。 Oracle MySQL PostgreSQL SQL Server セットアップ 構成イメージ 手順概要 RDS が S3 にアクセスするための IAM ロールを作成 DB クラスターパラメーターグループのパラメーター(aws_default_s3_role)に IAM ロールの ARN を指定 Aurora クラスターを起動。IAM ロールをアタッチ mysql クライアントから SELECT INTO OUTFILE S3/LOAD DATA FROM S3 を実行 RDS 向け IAM ロールの作成 Aurora イン
Amazon Auroraのデータを高速に『巻き戻す』Backtrack機能がリリースされました！ | DevelopersIO
2018年5月11日 Backtrackの料金情報を追加 大栗です。 個人的にAuroraのアップデートをずっと追っているのですが、アナウンスされてからリリースがされておらずずっと気になっていたBacktrackという即座に過去の状態にもどる機能がリリースされたのでレポートします。 Amazon Aurora Backtrack – Turn Back Time Announcement: Amazon Aurora Backtrack Can Move a Database Back in Time Backtracking an Aurora DB Cluster Backtrackとは？ そもそもはre:Invent 2016のBreakout Sessionで『オンライン ポイントインタイム リストア』としてアナウンスされていました。 【レポート】DAT301: Deep-dive
Amazon RDS for MySQL と全文検索 | DevelopersIO
こんにちは、藤本です。 先日開催された Developers.IO 2017 で「Amazon Elasticsearch Service の使いドコロ」というタイトルで登壇しました。 Developers.IO 2017セッション「Amazon Elasticsearch Service の使いドコロ」で話しました #cmdevio2017 資料を作成する中で MySQL 5.7 から追加された全文検索の日本語対応に関して調べました。せっかくなのでまとめた内容をブログに書き出すとともに、RDS だとどこまでできるのかということを追加調査してみました。 MySQL 5.7 の日本語全文検索に関しては公式ドキュメントや、Oracle の方のスライドに詳しく説明されていますので、詳しく知りたい方は下記をご参照ください。 12.9 Full-Text Search Functions MySQL
[新機能]Amazon Auroraで高速にクローンを作成できます | DevelopersIO
大栗です。 Amazon Auroraでデータベースのクローンを作成できる機能がリリースされました! Amazon Aurora Introduces Database Cloning Capabilities Release: Amazon RDS on 2017-06-12 データベース・クローン データベースのクローンはre:Invent 2016でアナウンスされていたのですが、既存のAuroraクラスタを素早くコスト効率よく複製する機能です。データベースのクローンではCopy-on-Writeプロトコルを使用しており、ソースデータベースかクローンデータベースで書き換えが発生した時にデータがコピーされます。 Copy-on-Writeプロトコル Copy-on-WriteはOSのメモリ管理などでよく使用されますが、データの複製を行う時に実際にはコピーせずに同じデータを共有して複製時か
[DMS] MongoDBからRDS MySQLへのレプリケーションを試す | DevelopersIO
こんにちは、菊池です。 MongoDBからのDMSレプリケーション、S3ターゲットに続きMySQLでも試してみました。これまでの記事は以下を参照ください。 Database Migration Service の Source に MongoDB が選択可能になりました！ [DMS] MongoDB Sourceのマイグレーションモードを比較する [DMS] MongoDB：テーブルモードのデータパターン検証 検証 SourceとしてEC2で動作するMongoDBのレプリカセット、TargetとしてRDS MySQLインスタンスを利用します。 Source MongoDB 3.4.2 レプリケーションモード：テーブルモード Target RDS for MySQL 5.6.27 初期データのマイグレーション まずはデータを1つMongoDBに挿入し、レプリケーションを実行します。 s0-r
![[DMS] MongoDBからRDS MySQLへのレプリケーションを試す | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e59904c0a159dfc457327d272461b59b3bdf7ae8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F01%2Feyecatch_dms.png)
サーバーレスでAuroraの実行中クエリをCloudWatch Logsへ出力する | DevelopersIO
大栗です。 RDSで障害が発生する一因として、想定外に長時間実行しているクエリが邪魔になっていることがあります。RDS for MySQLやAuroraの場合はSlow Queryで長時間実行されたクエリは分かりますが、実行が完了したものしか出力されないため現在動いているものはshow processlist;を実行して実行中のクエリを確認する必要があります。監視システムで定期的にRDSにログインして実行すれば良いのですが、面倒なのでEC2を使わずに実装してみました。 全体概要 Auroraの場合は、ストアドプロシージャ経由でLambdaを実行できます。この機能とMySQLが持っているスケジュール機能を利用します。 AuroraのEvent Schedulerでinformation_schema.processlistの内容を取得してlambda_asyncを呼ぶ LambdaでPROC
しがないOLのはじめてのMySQL | DevelopersIO
はじめに お久しぶりです。クニ吉です。 この度、事務職から異動になりまして、今後は今までとはちょっと違った路線の投稿が増えると思います。これからもよろしくお願いします(^^) さて、早速ですが、今回は「MySQL」について書いていきたいと思います。私自身が初めてなので、超初心者向けになります。プロの方は本サイトの他の記事を読むことをお勧めします。 ちなみに私はAccessでSQL文を書いたことがある程度の知識しかありません。 前提 本記事におけるMySQLのバージョンは、「5.7.17」です。 本ブログの構成 MySQLとは MySQLのインストール データベース作成 テーブル作成 データ投入 データ集計（SUM関数） まとめ MySQLとは MySQLの前提としてデータベースについてのお話をさらっと。 データベース（DB）とは、複数で共有、利用を行なったり、検索や蓄積、加工を容易にできる
Amazon QuickSight チュートリアル実践：データベースデータ(MySQL/MariaDB)を使って分析を作成 | DevelopersIO
RDS（MySQL）環境 以下の様にRDS/MySQLを作成します。 より本番環境のユースケースに合わせるため、DBシステム管理者（root）以外にアプリケーションユーザー（cmuser）を追加して、そのユーザのテーブルをデータ分析の対象とします。 [ec2-user@ip-10-0-0-144 ~]$ mysql -h cmmysql.xxxx.us-east-1.rds.amazonaws.com -u cmuser -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 23 Server version: 5.6.27-log MySQL Community Server (GPL) Copyright (c) 2000, 2016
MariaDB Connector/JによるAmazon RDS for Auroraの高速フェイルオーバー | DevelopersIO
ども、大瀧です。 Amazon Linux 2015.09RC版のリリース告知に"Amazon Aurora JDBC driver"という項目があり、調べてみるとAuroraの可用性をアップさせるナイスな機能だったのでご紹介してみたいと思います。 RDS Multi-AZの"普通の"フェイルオーバー Amazon RDSで提供される可用性機能としてMulti-AZがあります。一般に言うActive-Standbyクラスタで、エンドポイントとなるDNSレコードのIPアドレスをアクティブノードに向ける、DNSベースの仕組みとなります。 以下のように、Masterノード障害を検知すると、エンドポイントのレコードをSlaveノードのIPアドレスに切り替える要領です。 AuroraでもCluster Endpointというエンドポイントが提供され、フェイルオーバーを実装することができます。しかし、
MySQL RouterでRDSのReplicaを負荷分散してみる | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 MySQLやAuroraでRead Heavyな環境だとだとRead Replicaを多数用意すると思います。多数のRead Replicaを効率的に使用するためにはリクエストの負荷分散が必須です。MySQLの負荷分散を行うためのプロダクトはいくつかありますが、今回はMySQL Routerを試してみました。 MySQL Router MySQL Router プロダクトのページにトップには、以下の様な記載があります。透過的なルーティングと言うことで、MySQLに接続するつもりでMySQL Routerに接続すれば良いということです。 MySQL Routerはアプリケーションと任意のバックエンドのMySQLサーバー間の透過的なルーティングを提供する軽量のミドルウェアです。データベースへの接続を適切なバックエンドのMySQLサーバーへ効
[SQL] Window関数を使ってデシル分析 〜ntile関数で優良顧客を抽出する〜 | DevelopersIO
はじめに まずはじめにデシル分析とは 全顧客の購入金額を高い順に１０等分にして各ランク(デシル)の購入比率や売り上げ構成比を算出して優良顧客を探ろうとする分析だそうです。 マーケティングの世界では「80:20の法則」や「2:8の法則」と呼ばれるパレートの法則というものがあるそうです。 Wikipediaによると 商品の売上の8割は、全商品銘柄のうちの2割で生み出している。 売上の8割は、全従業員のうちの2割で生み出している。 仕事の成果の8割は、費やした時間全体のうちの2割の時間で生み出している。 所得税の8割は、課税対象者の2割が担っている。 プログラムの処理にかかる時間の80%はコード全体の20%の部分が占める。 Wikipedia デシル分析で上位２０％の顧客を抽出できればマーケティングに活かせそうですね。 環境 PostgreSQL 9.5.4 実現したいこと 直近４カ月で利用した
![[SQL] Window関数を使ってデシル分析 〜ntile関数で優良顧客を抽出する〜 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9d7a9e19a3c5979fc0b83efa7beeec666f705bb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fsql.png)
PostgreSQLのdblink機能を使ってAmazon RedshiftとRDS(PostgreSQL)を結合する | DevelopersIO
先日、『AWS Big Data Blog』にて以下のエントリが公開されていました。Amazon RedshiftとRDS(PostgreSQL)を、dblinkという機能を使って結合するというものです。一体どの様な仕組みでJOIN出来るのか、とても気になったので早速試してみました。 JOIN Amazon Redshift AND Amazon RDS PostgreSQL WITH dblink - AWS Big Data Blog 目次 Amazon RedshiftとRDS(PostgreSQL)の違い PostgreSQL/Redshift間の接続を実現する2つの拡張 動作環境の準備 各種接続・動作確認 基本的なクエリ ビューの参照 ユーザー定義関数の利用 マテリアライズドビューでデータのキャッシュ Amazon RedshiftからRDS(PostgreSQL)へのデータコピ
AWS Lambda Pythonからpsycopg2でRDS PostgreSQLに接続する | DevelopersIO
AWS Lambda 関数では、実行に必要なプログラムをZIPでパッケージ化します。 AWS Lambda PythonからRDS PostgreSQL に接続する場合はどうでしょうか? PostgreSQLアダプターのpsycopg2をビルドしてLambda関数のルートディレクトリに同梱するだけで済みそうですが、話はそう簡単ではありません。 libpqをpsycopg2に動的リンクさせた場合の弊害 psycopg2 はPostgreSQLクライアント用Cインターフェース libpq のラッパーであり、標準では libpq を動的リンクします。 残念なことに、AWS Lambda の実行環境では libpq は共有ライブラリとしてインストールされていないため、libpq を動的リンクしていると libpq が見つからず、以下のようなエラーが発生します。 Unable to import m
[新機能] Amazon RDS for MySQLで、簡単に5.6から5.7へアップグレードできるようになりました | DevelopersIO
はじめに 今日は新機能のお知らせです。 Amazon RDS MySQL now supports point-and-click upgrade from MySQL 5.6 to 5.7 Amazon RDS for MySQLで、DBエンジンを簡単に5.6から5.7にアップグレードできるようになりました。具体的にはAWS管理コンソールからちょいちょいっとクリックするだけでアップグレードされます。 やってみた 以下のようなMySQL 5.6エンジンのAmazon RDS for MySQLがあります。ちなみにOption Groupは"default:mysql-5-6"、Parameter Groupは"default.mysql5.6"です。 [Instance Actions]-[Modify]をクリックします。 Modify画面の、[DB Engine Version]で、My
ちょっと待って！Auroraを使う時にMulti-AZが本当に必要ですか？
ウィスキー、シガー、パイプをこよなく愛する大栗です。 Auroraへ移行するお話を頂くことが増えてきました。そこでAuroraへの移行時における冗長化のポイントを考えてみました。 RDSのSLA定義はMulti-AZが前提である旨を追記しました。 そもそもMulti-AZって？ ここではMySQLの場合のMulti-AZについて述べます。 Single-AZでは、以下の問題があります。 耐久性： ストレージボリュームで障害が発生した時には、「最新の復元可能な時刻」以降のデータ更新が失われる。 可用性： ハードウェア障害が発生した時に、インスタンスを再作成するため再接続までの時間が必要になる Auroraを除くRDSではストレージボリュームにEBSと同等のものが使用されているようなので通常のディスクに比べて高い可用性と信頼性を備えています。 補足すると、EBSについての具体的な数字としては「
【アップデート】Amazon RDSでMySQL 5.7が使用可能になりました | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日RDSでMySQL 5.7が使用可能になったので、早速試してみました。 RDS for MySQL 5.7で何が変わった？ RDSでは対応した主なアップデート MySQL 5.7では様々なアップデートがあるので、一部をご紹介します。 ネイティブでのJSON対応。様々なJSON関数が追加されています。 実行計画のJSON出力が可能になり、詳細情報が出力可能になりました。 パラレルレプリケーションに対応しました。 Boost.Geometryを使用した空間インデックスのGIS対応。 innodb_buffer_pool_sizeの動的変更が可能になりました。 innodb_buffer_pool_dump_pctシステム変数が追加され、バッファプルからダンプするかとパーセンテージで指定できます。 バルクデータロードのパフォーマンスが改善
JavaからMySQLに接続して登録する | DevelopersIO
はじめに データベースは作成されているものとし、データベース名・テーブル名は下記とします。 データベース名：「cm」 テーブル名： 「music」 ドライバの設定 今回はMySQLを使用するので、接続するために「JDBCドライバ」をダウンロードしてプロジェクトに結びつけます。 MySQL::Download Connector/J Eclipseの場合、プロジェクトフォルダを選択して右クリックから、 「Properties」 > 「Java Build Path」 > 「Libraries」タブ > 「Add External JARs...」 からダウンロードした ”mysql-connector-java-x.x.xx-bin.jar” を選択。 最後に「OK」か「Apply」を押して決定。 「Referenced Libraries」が生成されてドライバが登録されていると思います。
JavaでMySQLのデータベースにトランザクション処理 | DevelopersIO
はじめに 前回の「JavaからMySQLに接続して登録する」ではSQL文を１つ１つコミットしていましたが、今回は複数のSQL文の登録とトランザクション処理を紹介します。 トランザクション処理を行うと、複数のSQL文の内の１つ以上でエラーが発生した場合に、その全ての処理を無かった事にしてくれます。 テーブル こちらに登録します。 コード import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; public class ConnectionClass { static final String URL = "jdbc:mysql://localhost/cm"; static final String U
AWS再入門 Amazon RDS編 | DevelopersIO
上記の中のRDBMS全てに加えて、クラウド時代に合わせて再設計したAurora、MySQLのフォークであるMariaDBが使用できます。 MySQL：最もシェアがあるOSSのRDBMS。 Oracle：高いシェアがある商用RDBMS。 SQL Server：高いシェアがある商用RDBMS。Windowsとの親和性が高い。 PostgreSQL：機能が豊富なOSSのRDBMS。 Aurora：AWSがクラウド時代に再設計したRDBMS。MySQL 5.6互換でMySQLの5倍高速と言われています。 MariaDB：MySQLからフォークしたRDBMS。MySQL互換。 性能向上が簡単に実施可能 Amazon RDSでは、様々なスペックのインスタンスを使用できます。最大40個のvCPUのインスタンスや244GBのメモリのインスタンスがあります。性能が不足してきたら、インスタンスのサイズを変更す
RDS for PostgreSQLでデータを暗号化する | DevelopersIO
はじめに RDSに個人情報や機密情報を保存する場合、データの暗号化をしたいという要件はよくあります。RDS for SQL ServerとRDS for OracleはTransparent Data Encryption(TDE)で透過的な暗号化ができるのですが、残念ながらRDS for MySQLとRDS for PostgreSQLではTDEが使えません。 しかし、RDS for PostgreSQLでは拡張モジュールを使うことで、データの暗号化が可能です。今回は拡張モジュールの1つであるpgcryptoを使って、データの暗号化をしてみました。 やってみた 今回使ったRDS for PostgreSQLのDBエンジンはPostgreSQL 9.3.5です。 pgcryptoを使うための準備 まずはEC2からRDSにpsqlコマンドで接続します。psqlコマンドではデフォルトでSSL接
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
