[アップデート] ゼロETL の Amazon Aurora と Amazon Redshift の統合が発表されました！（プレビュー） #reinvent | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。ラスベガスで AWS re:Invent 2022 の Keynote を見ています。 Keynote で Amazon Aurora と Amazon Redshift を ETL 無しで統合できる機能が発表されたためレポートします。 AWS announces Amazon Aurora zero-ETL integration with Amazon Redshift ゼロETL データの分析を行うために様々なサービスを利用しています。AWS ではサービス間の統合を行い ETL を使用せずとも分析や機械学習が簡単に行えるようにしてきました。例えば Redshift と Athena の両方でフェデレートされたクエリ機能を持っています。これをよりデータを移動すること無く、様々なデータベースやデータストアなどでクエリを実行することができ
![[アップデート] ゼロETL の Amazon Aurora と Amazon Redshift の統合が発表されました！（プレビュー） #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a80ccfd3c405c137d762fe1db76c9e087e38d35/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F11%2Feyecatch_reinvent2022_new-service.png)
【新機能】Amazon Auroraで監査ログに対応しました | DevelopersIO
大栗です。 先程RDSのAmazon AuroraでAdvanced Auditingという監査ログ機能に対応したのでご紹介します。 Amazon Aurora Now Offers Advanced Audit Capability Auditing an Amazon Aurora Cluster Using Advanced Auditing in an Amazon Aurora DB Cluster Advanced Auditingとは RDSの各DBエンジンでは、以下の表のように監査機能をサポートしています。今回はAurora (MySQL compatibility)で監査ログに対応しました。 DBエンジン 監査機能 備考
RDSインスタンスのmax_connectionsのデフォルト値と、デフォルト値に戻す方法について | DevelopersIO
どうも、コンサルティング部の後藤です。 困っていたこと 対象RDSインスタンスタイプの「max_connections」のデフォルト値を知りたい。 max_connectionsを既に任意の値に指定しており、デフォルトの設定に戻す方法を知りたい。 回答 (1). 対象RDSインスタンスタイプの「max_connections」のデフォルト値を知りたい RDSのパラメータグループで設定されている「max_conenctions」のデフォルト値は以下の計算式によって設定されております[1]。 {DBInstanceClassMemory/12582880} DBInstanceClassMemoryはDBインスタンスに割り当てられたメモリ容量になります。 計算式で算出した値と実際の値は異なるため、実値についてはRDSインスタンスに接続した後、以下コマンドでmax_connectionsの値を確
DMSを使ったデータベース移行を試してみた | DevelopersIO
このたびの平成30年北海道胆振東部地震被害により被災された皆さまへ 心よりお見舞い申し上げます。 はじめに こんにちは、吉井です。 今回は AWS Database Migration Service の導入を題材にします。 AWS Database Migration Service とは Database Migration Service (以下 DMS) はその名の通りデータベースのデータ移行を支援するサービスです。 オンプレミス～AWS間、オンプレミス～オンプレミス間のデータ移行を支援します。 （AWS～AWS間も技術的には可能ですが、これは別サービスを選択したいところです） クラウドシフトしたサーバーへのデータ移行、検証目的でのデータレプリケーション、遠隔地バックアップなどに活用出来ると思います。 DMSの仕組み DMSは、 ● Replication Instance (デー
AWS再入門ブログリレー Amazon DocumentDB編 | DevelopersIO
※ DocumentDB開発者ガイドより引用（一部追加、抜粋） 例:ふたつのドキュメントが格納されていますが、その構造は同じではありません { "_id" : ObjectId("5d18760d11a12c05cac220e1"), "name" : "kazue", "age" : 32, "like" : [ "music", "soccer" ] } { "_id" : ObjectId("5d18765911a12c05cac220e2"), "name" : "yamada", "age" : 25, "job" : "sales", "birthplace" : "Osaka" } 例:各ドキュメントは要素(フィールド)を自由に追加、削除できます { "_id" : ObjectId("5d18760d11a12c05cac220e1"), "name" : "kazue",
Amazon Aurora MySQLとS3間でデータをロード&アンロードする | DevelopersIO
Amazon Aurora MySQL は、データを S3 にアンロード(SELECT INTO OUTFILE S3) S3 からロード(LOAD DATA FROM S3) できます。 実際にやってみます。 他のDBエンジンについては、以下の記事を参照ください。 Oracle MySQL PostgreSQL SQL Server セットアップ 構成イメージ 手順概要 RDS が S3 にアクセスするための IAM ロールを作成 DB クラスターパラメーターグループのパラメーター(aws_default_s3_role)に IAM ロールの ARN を指定 Aurora クラスターを起動。IAM ロールをアタッチ mysql クライアントから SELECT INTO OUTFILE S3/LOAD DATA FROM S3 を実行 RDS 向け IAM ロールの作成 Aurora イン
Amazon Auroraのデータを高速に『巻き戻す』Backtrack機能がリリースされました！ | DevelopersIO
2018年5月11日 Backtrackの料金情報を追加 大栗です。 個人的にAuroraのアップデートをずっと追っているのですが、アナウンスされてからリリースがされておらずずっと気になっていたBacktrackという即座に過去の状態にもどる機能がリリースされたのでレポートします。 Amazon Aurora Backtrack – Turn Back Time Announcement: Amazon Aurora Backtrack Can Move a Database Back in Time Backtracking an Aurora DB Cluster Backtrackとは？ そもそもはre:Invent 2016のBreakout Sessionで『オンライン ポイントインタイム リストア』としてアナウンスされていました。 【レポート】DAT301: Deep-dive
【速報】マネージドGraphQLサービス「AWS AppSync」が一般公開（GA）されました！ | DevelopersIO
AWS AppSyncが一般公開されました AWS re:Invent 2017で発表された、モバイルアプリのための期待のマネージドGraphQLサービス「AWS AppSync」。本日ついに一般公開（GA）されました！ AWS AppSync now Generally Available (GA) with new GraphQL Features AWS AppSyncとは？ AWS AppSyncは、クロスプラットフォームでデータのリアルタイム同期を行うためのGraphQLをベースとしたアプリケーションのバックエンドを提供するサービスです。次の機能を利用できます。 リアルタイムアプリケーションの作成 同期を使ったオフラインプログラミングモデルの構築 必要なデータだけ GraphQL で取得 複数のデータソース（Amazon DynamoDB、Amazon Elasticsearch
Amazon DynamoDB のデータを API Gateway と Angular( D3.js ) でサーバーレス可視化する | DevelopersIO
とある投票システムを仮想したデータです。特定の投票者IDに関するデータを、日別で見たいとしましょう。 export interface Vote { voteDate: string; value: number; } export const Votes: Vote[] = [ {voteDate: '2017-11-10T12:00:12+09:00', value: 345.11 }, {voteDate: '2017-11-11T22:00:12+09:00', value: 102.34 }, {voteDate: '2017-11-12T09:12:45+09:00', value: 345.11 }, {voteDate: '2017-11-13T09:12:45+09:00', value: 312.12 }, {voteDate: '2017-11-14T09:12:45
DynamoDBの料金を最適化しよう【初級編】 | DevelopersIO
こんにちは、臼田です。 DynamoDBの料金体系って難しくてよくわからないと思っている方も多いかもしれません。私もその一人でした。 今回はどのようにすればDynamoDBを安く利用できるのかについて、まとめてみたいと思います。 本ブログのコンセプト DynaomDBをこれから利用する、もしくはとりあえず利用しているが熟知はしていない方向け 利用料金の最適化に必要な範囲の説明を行う キャパシティーユニット等のわかりにくい用語についても少し解説を入れる RDSとの比較などは行わない 大規模であったり、細かいチューニングを伴うような部分は割愛 なお、上級者向けの内容は含まれていませんのでご了承下さい。 RDSとの比較やDynamoDBの詳細な使い方などは、弊社都元が執筆しているコンセプトから学ぶAmazon DynamoDB – シリーズ –がむちゃくちゃ参考になるので、こちらも御覧ください。
Lambda(Python3.6)でDynamoDBに登録された項目が日付型であるかチェックしてみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 DynamoDBで提供されている属性の型は大きく分けて スカラー型、ドキュメント型、セット型となっています。 DynamoDBの命名ルールおよびデータ型 そのため、下記画像のように日付と時刻を登録するときは文字列データ型(String型)を使用するのがほとんどだと思います。 ただ、こちらが想定するフォーマット以外でも登録することができてしまい、 登録された時刻をみて、ある処理を実行するときなど 処理が失敗してしまう可能性があります。 今回はLambdaを使って登録されている項目のフォーマットが正しいかチェックしてみたいと思います。 DynamoDBのテーブル作成 今回はCloudFormationを使ってDynamoDBのテーブルを作成します。 テンプレートファイルを作成します。 今回作成するテーブルはプライマリーキー「Date」、ソートキー「Time
超便利なDB用GUIツール『0xDBE』が『DataGrip 1.0』として正式リリースされました | DevelopersIO
Welcome DataGrip 1.0: a JetBrains IDE for DBs and SQL (formerly @0xDBE) https://t.co/n5mZkr7Dim pic.twitter.com/R6mYxcZ5t7 — JetBrains (@jetbrains) 2015, 12月 16 今年7月に以下エントリで紹介していたDB専用GUIツール『0xDBE』が、正式に『DataGrip』という製品名でこの度リリースされた模様です。 Mac/Windows/Linuxで利用可能なDB専用GUIツール『0xDBE』について ｜ Developers.IO 当エントリでは、ツール『DataGrip』の機能及び費用について簡単にではありますがご紹介してみたいと思います。 目次 DataGrip: 主な機能 DataGrip: 価格 まとめ DataGrip: 主な機
コンセプトから学ぶAmazon DynamoDB【GSI篇】 | DevelopersIO
よく訓練されたアップル信者、都元です。今回はグローバル・セカンダリ・インデックス（GSI）にフォーカスします。LSIを忘れないうちにGSIいきますよっ。 ローカル・セカンダリ・インデックス（LSI）というのは、ハッシュキーattributeが共通で別のレンジキーattributeを持つ、複合キーテーブルに対するインデックスでした。 グローバル・セカンダリ・インデックス（GSI）とは 例えば、Amazon DynamoDB Developer Guide - サンプルテーブルとデータにあるProductCatalogテーブルは、Idがハッシュキーとなったハッシュキーテーブルです。つまりこのテーブルは、Idを条件としたquery（問い合わせ）しかできません。ハッシュキーテーブルであるが故に、LSIも定義できません。 アプリケーション要件「ProductCategoryで絞り込んだ後、Title
Amazon RDS for MySQL と全文検索 | DevelopersIO
こんにちは、藤本です。 先日開催された Developers.IO 2017 で「Amazon Elasticsearch Service の使いドコロ」というタイトルで登壇しました。 Developers.IO 2017セッション「Amazon Elasticsearch Service の使いドコロ」で話しました #cmdevio2017 資料を作成する中で MySQL 5.7 から追加された全文検索の日本語対応に関して調べました。せっかくなのでまとめた内容をブログに書き出すとともに、RDS だとどこまでできるのかということを追加調査してみました。 MySQL 5.7 の日本語全文検索に関しては公式ドキュメントや、Oracle の方のスライドに詳しく説明されていますので、詳しく知りたい方は下記をご参照ください。 12.9 Full-Text Search Functions MySQL
【レポート】AWS Summit Tokyo 2017：Blockchain on AWS -Ethereum Deep Dive with INFURA- #AWSSummit | DevelopersIO
2017年05月30日(火)〜2017年06月02日(金)の計4日間に渡り、グランドプリンスホテル新高輪 品川プリンスホテル アネックスタワーで行われている『AWS Summit Tokyo 2017』。 当エントリでは2017年06月01日に行われた『Blockchain on AWS -Ethereum Deep Dive with INFURA-』に関する内容をレポートしたいと思います。 AWS Summit Tokyo 2017（2017年5月30日～6月2日）｜AWS セッション概要 当セッションの登壇者及び概要は以下の通り。 ゲストスピーカー： Mr. Michael Wuehler Director of Blockchain Infrastructure, INFURA (ConsenSys) スピーカー： 塚田 朗弘氏 アマゾン ウェブ サービス ジャパン株式会社 技術統
[新機能]Amazon Auroraで高速にクローンを作成できます | DevelopersIO
大栗です。 Amazon Auroraでデータベースのクローンを作成できる機能がリリースされました! Amazon Aurora Introduces Database Cloning Capabilities Release: Amazon RDS on 2017-06-12 データベース・クローン データベースのクローンはre:Invent 2016でアナウンスされていたのですが、既存のAuroraクラスタを素早くコスト効率よく複製する機能です。データベースのクローンではCopy-on-Writeプロトコルを使用しており、ソースデータベースかクローンデータベースで書き換えが発生した時にデータがコピーされます。 Copy-on-Writeプロトコル Copy-on-WriteはOSのメモリ管理などでよく使用されますが、データの複製を行う時に実際にはコピーせずに同じデータを共有して複製時か
[DMS] MongoDBからRDS MySQLへのレプリケーションを試す | DevelopersIO
こんにちは、菊池です。 MongoDBからのDMSレプリケーション、S3ターゲットに続きMySQLでも試してみました。これまでの記事は以下を参照ください。 Database Migration Service の Source に MongoDB が選択可能になりました！ [DMS] MongoDB Sourceのマイグレーションモードを比較する [DMS] MongoDB：テーブルモードのデータパターン検証 検証 SourceとしてEC2で動作するMongoDBのレプリカセット、TargetとしてRDS MySQLインスタンスを利用します。 Source MongoDB 3.4.2 レプリケーションモード：テーブルモード Target RDS for MySQL 5.6.27 初期データのマイグレーション まずはデータを1つMongoDBに挿入し、レプリケーションを実行します。 s0-r
LambdaとSQSによる非同期分散処理 | DevelopersIO
はじめに AWS Lambdaで処理時間が掛かることが想定される場合、どのような対応策があるでしょうか？Lambdaを諦める？(これも１つの選択肢だと思います)、一回のデータ処理量を減らして処理時間を短くする、など色々な方法が考えつくと思います。 今回は１つの対応策として、処理時間が掛かる処理を複数に分割して別Lambda関数として動かす事を考えてみました。処理を分割してQueueに登録し、Queue毎に別Lambda関数を起動するサンプルを作成してみたので、それを中心に書きたいと思います。尚、実装言語はPythonとなります。 処理概要 今回の処理概要を図にすると以下のようになります。 Pythonにより実装したLambda関数、SQS、DynamoDBを組み合わせました。一番左の「main.py」がタスクをQueueに分割してSQSに登録します。定期的に動いている「consumer.p
サーバーレスでAuroraの実行中クエリをCloudWatch Logsへ出力する | DevelopersIO
大栗です。 RDSで障害が発生する一因として、想定外に長時間実行しているクエリが邪魔になっていることがあります。RDS for MySQLやAuroraの場合はSlow Queryで長時間実行されたクエリは分かりますが、実行が完了したものしか出力されないため現在動いているものはshow processlist;を実行して実行中のクエリを確認する必要があります。監視システムで定期的にRDSにログインして実行すれば良いのですが、面倒なのでEC2を使わずに実装してみました。 全体概要 Auroraの場合は、ストアドプロシージャ経由でLambdaを実行できます。この機能とMySQLが持っているスケジュール機能を利用します。 AuroraのEvent Schedulerでinformation_schema.processlistの内容を取得してlambda_asyncを呼ぶ LambdaでPROC
しがないOLのはじめてのMySQL | DevelopersIO
はじめに お久しぶりです。クニ吉です。 この度、事務職から異動になりまして、今後は今までとはちょっと違った路線の投稿が増えると思います。これからもよろしくお願いします(^^) さて、早速ですが、今回は「MySQL」について書いていきたいと思います。私自身が初めてなので、超初心者向けになります。プロの方は本サイトの他の記事を読むことをお勧めします。 ちなみに私はAccessでSQL文を書いたことがある程度の知識しかありません。 前提 本記事におけるMySQLのバージョンは、「5.7.17」です。 本ブログの構成 MySQLとは MySQLのインストール データベース作成 テーブル作成 データ投入 データ集計（SUM関数） まとめ MySQLとは MySQLの前提としてデータベースについてのお話をさらっと。 データベース（DB）とは、複数で共有、利用を行なったり、検索や蓄積、加工を容易にできる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
