20190206 AWS Black Belt Online Seminar Amazon SageMaker Basic Session

Amazon Web Services ブログ Amazon EMR を保護するベストプラクティス どの業界でも、組織が機能する上で中心となるのは、データです。お客様とデータ戦略について話し合うとき、データの取り込み、保存、処理、分析、配布、最終的なデータを安全性について語ります。 Amazon EMR は、膨大な量のデータを処理するために使用するマネージド型 Hadoop フレームワークです。お客様が Amazon EMR を選ぶ理由の 1 つは、そのセキュリティ機能です。例えば、金融サービスなどの規制された業界や医療分野の FINRA のようなお客様は、データ戦略の一環として Amazon EMR を選びます。ペイメントカード業界データセキュリティ基準（PCI）や 医療保険の携行と責任に関する法律（HIPAA）など、エンティティからの厳しい規制要件に準拠するためのものです。 この記事で

実行時間はほぼ横ばい。コストはCOMPOUND SORT KEYが一番低く、ソートキーなしとINTERLEAVED SORT KEYは同じ結果に。 -- レコード数1億件未満のテーブル -- セカンダリキーでORDER BY SELECT eventid FROM sales ORDER BY eventid; -- EXPLAIN XN Merge (cost=1000000016724.67..1000000017155.81 rows=172456 width=4) Merge Key: eventid -> XN Network (cost=1000000016724.67..1000000017155.81 rows=172456 width=4) Send to leader -> XN Sort (cost=1000000016724.67..1000000017155.81

はじめに おはようございます、もきゅりんです。 皆さん、AWS Schema Conversion Tool (以下 SCT) 使ってますか？ AWS Database Migration Service (以下 DMS) を触り始めると顔を出してくる SCT です。 ご存知な方も多いと思いますが、SCT とは、あるデータベースエンジンにおける既存のデータベーススキーマを、別のデータベースエンジンのスキーマに変換するツールです。 DMS の前処理として認知されている方が多いかと思います。 でも SCT を具体的にどうやって使うのか、どんなことができるのかは、あまり利用する機会もなく、環境を用意するのにもそれなりに時間がかかるため不鮮明ではないでしょうか。(自分はそうです) 上記課題感から本稿では、環境を用意してくれる AWS Database Migration Workshop で SC

はじめに AWS GlueのRelationalizeというTransformを利用して、ネストされたJSONをCSVファイルやParquetに変換する方法をご紹介します。CSV形式に変換することでリレーショナルデータベースに簡単にインポートできます。また、Parquetフォーマットに変換することでAthena、Redshift Spectrum、EMRからより高速にクエリできるようになります。 Relationalizeとは Relationalizeは、AWS Glueが提供するRelationalizeというTransformで、DynamicFrameをリレーショナル（行と列）形式に変換します。データのスキーマに基づいて、ネストした構造化データをフラットな構造化データに変換してDynamicFrameを作成します。出力は、複数の表にデータを書き込むことができる、DynamicFra

こんにちは、CX事業本部の若槻です。 今回は、Amazon QuickSightからAthenaに接続してデータを取得しようとすると権限エラーで失敗してしまったため対処方法を確認してみました。 データソースとなるAthenaの環境 Amazon QuickSightからデータソースとして接続しようとしたAthenaの環境は次のように作成しました。 データベース作成 CREATE DATABASE mydb テーブル作成 CREATE EXTERNAL TABLE IF NOT EXISTS mydb.mytable ( rank string, name string, attribute string ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES (

Introduction AWSが提供するDWHサービス、Amazon Redshift。 全世界での採用企業は数万社を超えており、弊社も国内において多くのお客様に導入のご支援をさせて頂きました。 RedshiftはAWSエコシステムとの親和性が高く、AWSを既にご利用のお客様は導入の敷居が低いDWHサービスとなっております。 しかし、適切なテーブル設計を行わなければパフォーマンスを全く発揮できません。 不適切なテーブル設計をしてしまったが故、「バッチ処理が当初想定していた時間で終わらない」等、弊社にご相談頂いたお客様も数多くいらっしゃいます。 では、Redshiftを扱うにあたってどのようなテーブル設計を行えば良いのか。 本記事では、パフォーマンスの向上に繋がるテーブル設計のポイントを3つ、ご紹介致します。 1. ソートキー（SortKey） ソートキー（SortKey）は、テーブルのデ

先日より、Kinesis Data Analytics について学習をはじめています。 今回は、Kinesis Data Analytics のアプリケーション内データストリームで時系列データを扱うにあたって重要な「時間」と「ウィンドウクエリパターン」についての理解を深めていきます。 目次 アプリケーション内データストリームにおける「時間」 どの「時間」を使って分析する？ 2 ウィンドウ戦略 3つのウィンドウクエリ・パターン タンブリングウィンドウ Stagger Windows（ずらしウィンドウ） スライディングウィンドウ まとめ アプリケーション内データストリームにおける「時間」 アプリケーション内データストリームでは、以下 3 タイプの時間に分類されます。正しく分析結果を得るためには、それぞれの時間についての意味を正しく理解しましょう。 引用元：Amazon Kinesis Anal

モバイルアプリサービス部の五十嵐です。 KinesisとSQSの比較検討のため、Kinesisをより知るために公式のチュートリアルをさわってみました。 前提知識として 前提知識として、ストリームとシャード、プロデューサーとコンシューマーなどの用語の意味を抑えておくといいと思います。AWS Black Belt Online Seminarのスライドがわかりやすかったので紹介しておきます。 AWS Black Belt Online Seminar 2017 Amazon Kinesis チュートリアル チュートリアル: Amazon Kinesis Data Streams を使用したウェブトラフィックの可視化 - Amazon Kinesis Data Streams 概要 このサンプルアプリケーションは、さまざまな URL からのシミュレート上の閲覧者の数を Kinesis data