気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 | DevelopersIO
始めに 私は8年ほど前に情報処理試験でデータウェアハウスというものがあるということを知りました。当時は4択問題で問題文に 意思決定支援 というキーワードが出てきたら何なのかよく分かんないけど選択してました。それからずっと興味がありながら実物に触ったことはなかったのですが、クラウド型のデータウェアハウスが登場し触る機会を得ることができました。以前に比べデータウェアハウスはかなり身近なものになってきたのではないでしょうか。弊社でもAmazon RedshiftというAWSのサービスを利用した案件が増えてきています。 クラスメソッド、POSデータ数十億件をリアルタイム分析する基盤を「Amazon Redshift」「Tableau」で開発 この記事ではデータウェアハウスの知識から分析ツールを使ってAmazon Redshiftに接続するところまで簡単にまとめています。実際にどんなものか、触ったこ
Amazon Aurora MySQLとS3間でデータをロード&アンロードする | DevelopersIO
Amazon Aurora MySQL は、データを S3 にアンロード(SELECT INTO OUTFILE S3) S3 からロード(LOAD DATA FROM S3) できます。 実際にやってみます。 他のDBエンジンについては、以下の記事を参照ください。 Oracle MySQL PostgreSQL SQL Server セットアップ 構成イメージ 手順概要 RDS が S3 にアクセスするための IAM ロールを作成 DB クラスターパラメーターグループのパラメーター(aws_default_s3_role)に IAM ロールの ARN を指定 Aurora クラスターを起動。IAM ロールをアタッチ mysql クライアントから SELECT INTO OUTFILE S3/LOAD DATA FROM S3 を実行 RDS 向け IAM ロールの作成 Aurora イン
Amazon Auroraのデータを高速に『巻き戻す』Backtrack機能がリリースされました！ | DevelopersIO
2018年5月11日 Backtrackの料金情報を追加 大栗です。 個人的にAuroraのアップデートをずっと追っているのですが、アナウンスされてからリリースがされておらずずっと気になっていたBacktrackという即座に過去の状態にもどる機能がリリースされたのでレポートします。 Amazon Aurora Backtrack – Turn Back Time Announcement: Amazon Aurora Backtrack Can Move a Database Back in Time Backtracking an Aurora DB Cluster Backtrackとは？ そもそもはre:Invent 2016のBreakout Sessionで『オンライン ポイントインタイム リストア』としてアナウンスされていました。 【レポート】DAT301: Deep-dive
【速報】マネージドGraphQLサービス「AWS AppSync」が一般公開（GA）されました！ | DevelopersIO
AWS AppSyncが一般公開されました AWS re:Invent 2017で発表された、モバイルアプリのための期待のマネージドGraphQLサービス「AWS AppSync」。本日ついに一般公開（GA）されました！ AWS AppSync now Generally Available (GA) with new GraphQL Features AWS AppSyncとは？ AWS AppSyncは、クロスプラットフォームでデータのリアルタイム同期を行うためのGraphQLをベースとしたアプリケーションのバックエンドを提供するサービスです。次の機能を利用できます。 リアルタイムアプリケーションの作成 同期を使ったオフラインプログラミングモデルの構築 必要なデータだけ GraphQL で取得 複数のデータソース（Amazon DynamoDB、Amazon Elasticsearch
Amazon DynamoDB のデータを API Gateway と Angular( D3.js ) でサーバーレス可視化する | DevelopersIO
とある投票システムを仮想したデータです。特定の投票者IDに関するデータを、日別で見たいとしましょう。 export interface Vote { voteDate: string; value: number; } export const Votes: Vote[] = [ {voteDate: '2017-11-10T12:00:12+09:00', value: 345.11 }, {voteDate: '2017-11-11T22:00:12+09:00', value: 102.34 }, {voteDate: '2017-11-12T09:12:45+09:00', value: 345.11 }, {voteDate: '2017-11-13T09:12:45+09:00', value: 312.12 }, {voteDate: '2017-11-14T09:12:45
DynamoDBの料金を最適化しよう【初級編】 | DevelopersIO
こんにちは、臼田です。 DynamoDBの料金体系って難しくてよくわからないと思っている方も多いかもしれません。私もその一人でした。 今回はどのようにすればDynamoDBを安く利用できるのかについて、まとめてみたいと思います。 本ブログのコンセプト DynaomDBをこれから利用する、もしくはとりあえず利用しているが熟知はしていない方向け 利用料金の最適化に必要な範囲の説明を行う キャパシティーユニット等のわかりにくい用語についても少し解説を入れる RDSとの比較などは行わない 大規模であったり、細かいチューニングを伴うような部分は割愛 なお、上級者向けの内容は含まれていませんのでご了承下さい。 RDSとの比較やDynamoDBの詳細な使い方などは、弊社都元が執筆しているコンセプトから学ぶAmazon DynamoDB – シリーズ –がむちゃくちゃ参考になるので、こちらも御覧ください。
Lambda(Python3.6)でDynamoDBに登録された項目が日付型であるかチェックしてみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 DynamoDBで提供されている属性の型は大きく分けて スカラー型、ドキュメント型、セット型となっています。 DynamoDBの命名ルールおよびデータ型 そのため、下記画像のように日付と時刻を登録するときは文字列データ型(String型)を使用するのがほとんどだと思います。 ただ、こちらが想定するフォーマット以外でも登録することができてしまい、 登録された時刻をみて、ある処理を実行するときなど 処理が失敗してしまう可能性があります。 今回はLambdaを使って登録されている項目のフォーマットが正しいかチェックしてみたいと思います。 DynamoDBのテーブル作成 今回はCloudFormationを使ってDynamoDBのテーブルを作成します。 テンプレートファイルを作成します。 今回作成するテーブルはプライマリーキー「Date」、ソートキー「Time
コンセプトから学ぶAmazon DynamoDB【GSI篇】 | DevelopersIO
よく訓練されたアップル信者、都元です。今回はグローバル・セカンダリ・インデックス（GSI）にフォーカスします。LSIを忘れないうちにGSIいきますよっ。 ローカル・セカンダリ・インデックス（LSI）というのは、ハッシュキーattributeが共通で別のレンジキーattributeを持つ、複合キーテーブルに対するインデックスでした。 グローバル・セカンダリ・インデックス（GSI）とは 例えば、Amazon DynamoDB Developer Guide - サンプルテーブルとデータにあるProductCatalogテーブルは、Idがハッシュキーとなったハッシュキーテーブルです。つまりこのテーブルは、Idを条件としたquery（問い合わせ）しかできません。ハッシュキーテーブルであるが故に、LSIも定義できません。 アプリケーション要件「ProductCategoryで絞り込んだ後、Title
Amazon RDS for MySQL と全文検索 | DevelopersIO
こんにちは、藤本です。 先日開催された Developers.IO 2017 で「Amazon Elasticsearch Service の使いドコロ」というタイトルで登壇しました。 Developers.IO 2017セッション「Amazon Elasticsearch Service の使いドコロ」で話しました #cmdevio2017 資料を作成する中で MySQL 5.7 から追加された全文検索の日本語対応に関して調べました。せっかくなのでまとめた内容をブログに書き出すとともに、RDS だとどこまでできるのかということを追加調査してみました。 MySQL 5.7 の日本語全文検索に関しては公式ドキュメントや、Oracle の方のスライドに詳しく説明されていますので、詳しく知りたい方は下記をご参照ください。 12.9 Full-Text Search Functions MySQL
Python で Redshift の JDBC ドライバを使ってみる（JayDeBeApi） | DevelopersIO
Python から Redshift へ接続する方法で psycopg 以外の方法が無いものか探していた所 JayDeBeApi なるものを見つけました。Amazon 謹製の JDBC Driver を使えるかなということで試してみました。 テスト環境 OS X 10.11.6, Java 8u112, Python 3.6.1, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar Windows 7, Java 8u131, Python 2.7.13, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar ※環境変数 JAVA_HOME の設定が必要です。 ※本来 Python 3 の場合は JayDeBeApi3 を利用するようなのですが、エラーが発生してしまったので 1.1.1 で試しました。 R
【レポート】AWS Summit Tokyo 2017：Blockchain on AWS -Ethereum Deep Dive with INFURA- #AWSSummit | DevelopersIO
2017年05月30日(火)〜2017年06月02日(金)の計4日間に渡り、グランドプリンスホテル新高輪 品川プリンスホテル アネックスタワーで行われている『AWS Summit Tokyo 2017』。 当エントリでは2017年06月01日に行われた『Blockchain on AWS -Ethereum Deep Dive with INFURA-』に関する内容をレポートしたいと思います。 AWS Summit Tokyo 2017（2017年5月30日～6月2日）｜AWS セッション概要 当セッションの登壇者及び概要は以下の通り。 ゲストスピーカー： Mr. Michael Wuehler Director of Blockchain Infrastructure, INFURA (ConsenSys) スピーカー： 塚田 朗弘氏 アマゾン ウェブ サービス ジャパン株式会社 技術統
[新機能]Amazon Auroraで高速にクローンを作成できます | DevelopersIO
大栗です。 Amazon Auroraでデータベースのクローンを作成できる機能がリリースされました! Amazon Aurora Introduces Database Cloning Capabilities Release: Amazon RDS on 2017-06-12 データベース・クローン データベースのクローンはre:Invent 2016でアナウンスされていたのですが、既存のAuroraクラスタを素早くコスト効率よく複製する機能です。データベースのクローンではCopy-on-Writeプロトコルを使用しており、ソースデータベースかクローンデータベースで書き換えが発生した時にデータがコピーされます。 Copy-on-Writeプロトコル Copy-on-WriteはOSのメモリ管理などでよく使用されますが、データの複製を行う時に実際にはコピーせずに同じデータを共有して複製時か
【レポート】AWS Summit Tokyo 2017：Oracle Database から Aurora & Redshift に移行するための実践ガイド #AWSSummit | DevelopersIO
スピーカー： 柴田 竜典 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト セッション概要： 現在は Oracle Database を使っているものの、クラウドネイティブな Amazon Aurora や Amazon Redshift への移行を検討しているお客様向けに、AWS のマイグレーションサービスによってどこまで移行が簡易化できるのか、そして AWS のサービス以外のところでは、どのような点に注意する必要があるのかについて実践的な内容をご紹介します。 セッション内容目次 自己紹介 Oracleからの移行を検討しているお客様の声 移行にあたっての不安や悩み 移行にあたって決めなくてはいけないこと Oracle DBとの違い まとめ セッションレポート 自己紹介 柴田竜典 [シバタツ] @rewse データベース関連の相談事何でも担当 AWSへ
Amazon Redshift クラスタのリサイズ ７つのポイント | DevelopersIO
Amazon Redshift は、データの増加やパフォーマンスの増強に伴い、いつでも柔軟かつ安全にクラスタをリサイズできます。リサイズ自体はマネジメントコンソールから変更するだけで、全自動でリサイズできます。今回は Amazon Redshift クラスタのリサイズに関する疑問やよくある質問をまとめました。 １．リサイズ中・リサイズ後 リサイズが終わるまで参照であれば利用可能 リサイズを開始するとバックグラウンドで新しいクラスタをプロビジョニングして、バックグラウンドでデータが新しいクラスタにコピーされます。既存のクラスターは読み取り専用モードになり、リサイズ中もオンラインを維持するので、更新・削除はできませんが参照は可能です。 詳細については、Amazon Redshift Database Developer Guide の「Write and read-write operatio
[DMS] MongoDBからRDS MySQLへのレプリケーションを試す | DevelopersIO
こんにちは、菊池です。 MongoDBからのDMSレプリケーション、S3ターゲットに続きMySQLでも試してみました。これまでの記事は以下を参照ください。 Database Migration Service の Source に MongoDB が選択可能になりました！ [DMS] MongoDB Sourceのマイグレーションモードを比較する [DMS] MongoDB：テーブルモードのデータパターン検証 検証 SourceとしてEC2で動作するMongoDBのレプリカセット、TargetとしてRDS MySQLインスタンスを利用します。 Source MongoDB 3.4.2 レプリケーションモード：テーブルモード Target RDS for MySQL 5.6.27 初期データのマイグレーション まずはデータを1つMongoDBに挿入し、レプリケーションを実行します。 s0-r
![[DMS] MongoDBからRDS MySQLへのレプリケーションを試す | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e59904c0a159dfc457327d272461b59b3bdf7ae8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F01%2Feyecatch_dms.png)
LambdaとSQSによる非同期分散処理 | DevelopersIO
はじめに AWS Lambdaで処理時間が掛かることが想定される場合、どのような対応策があるでしょうか？Lambdaを諦める？(これも１つの選択肢だと思います)、一回のデータ処理量を減らして処理時間を短くする、など色々な方法が考えつくと思います。 今回は１つの対応策として、処理時間が掛かる処理を複数に分割して別Lambda関数として動かす事を考えてみました。処理を分割してQueueに登録し、Queue毎に別Lambda関数を起動するサンプルを作成してみたので、それを中心に書きたいと思います。尚、実装言語はPythonとなります。 処理概要 今回の処理概要を図にすると以下のようになります。 Pythonにより実装したLambda関数、SQS、DynamoDBを組み合わせました。一番左の「main.py」がタスクをQueueに分割してSQSに登録します。定期的に動いている「consumer.p
Amazon AthenaでETLした結果をRedshiftにロードしてみる | DevelopersIO
先日の Black Beltオンラインセミナー「Amazon Athena」で、Athenaの想定ユースケースとして「開発者が、大規模でない生データに対して、低頻度でETL処理をする」という話を聞き、実際に Athena で ETL して Redshift にロードしてみることにしました。 サンプルデータ サンプルデータは下記データをダウンロードし、対象シートを[Orders]のみをS3ファイルに保存して、Athenaで orders_jp テーブルとして定義したものを利用します。 Superstoreサンプルデータ（不具合修正版） |Tableau Community シナリオ 日本国内の売上情報が含まれるデータファイルがS3上に存在する。データファイルから製品カテゴリ〜製品毎の売上と利益率のデータマートを作成して、BIツールから参照できるようにこのデータマートをRedshiftにロード
サーバーレスでAuroraの実行中クエリをCloudWatch Logsへ出力する | DevelopersIO
大栗です。 RDSで障害が発生する一因として、想定外に長時間実行しているクエリが邪魔になっていることがあります。RDS for MySQLやAuroraの場合はSlow Queryで長時間実行されたクエリは分かりますが、実行が完了したものしか出力されないため現在動いているものはshow processlist;を実行して実行中のクエリを確認する必要があります。監視システムで定期的にRDSにログインして実行すれば良いのですが、面倒なのでEC2を使わずに実装してみました。 全体概要 Auroraの場合は、ストアドプロシージャ経由でLambdaを実行できます。この機能とMySQLが持っているスケジュール機能を利用します。 AuroraのEvent Schedulerでinformation_schema.processlistの内容を取得してlambda_asyncを呼ぶ LambdaでPROC
しがないOLのはじめてのMySQL | DevelopersIO
はじめに お久しぶりです。クニ吉です。 この度、事務職から異動になりまして、今後は今までとはちょっと違った路線の投稿が増えると思います。これからもよろしくお願いします(^^) さて、早速ですが、今回は「MySQL」について書いていきたいと思います。私自身が初めてなので、超初心者向けになります。プロの方は本サイトの他の記事を読むことをお勧めします。 ちなみに私はAccessでSQL文を書いたことがある程度の知識しかありません。 前提 本記事におけるMySQLのバージョンは、「5.7.17」です。 本ブログの構成 MySQLとは MySQLのインストール データベース作成 テーブル作成 データ投入 データ集計（SUM関数） まとめ MySQLとは MySQLの前提としてデータベースについてのお話をさらっと。 データベース（DB）とは、複数で共有、利用を行なったり、検索や蓄積、加工を容易にできる
DQLを使ってDynamoDBをSQL操作する | DevelopersIO
AWS には NoSQL データベース DynamoDBが存在します。 標準では ウェブ管理画面 AWS CLI SDK を使ったプログラム から操作することもでるものの、地味に面倒です。 今回は DQL を使ってシェルインターフェースから DynamoDB を SQL 操作する方法を紹介します。 DQL とは? DQL は "DynamoDB Query Language" の略で DynamoDB 向けの SQL 風インターフェースです。 DynamoDB テーブルの作成・更新・削除からレコードの追加・参照・更新・削除を SQL 風に操作できます。 サクッと DynamoDB の中を覗く場合には、今回紹介するようなツールを使うのがお手軽ではないかと思います。 インストール DQL は Python で書かれているため pip でインストールします。 $ pip install -U d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
