Developers.IO 2017セッション「実案件で見るデータ分析用AWS基盤の構築方法」を発表しました #cmdevio2017 | DevelopersIO

セッション内容 本セッションでは、私が所属しているインテグレーション(DI)部で経験した案件を元に、 データ分析基盤の色々 そこから得たノウハウ 基盤構築後発生した問題とその解決 今後導入したいAWSサービス をお伝えしました。以下、詳細です。 データ分析基盤の色々 今までに関わってきた主な案件のパターンを紹介します。 ログデータ分析 基幹システムのデータをRedshiftに格納しBI参照 基幹システムのデータをCSVやTSVのようなテキスト形式に変換してもらい、S3に格納する。それをEC2インスタンス上で動作させるバッチプログラムでRedshiftへロード、加工する。ロードされたRedshift上のデータはBIシステムで検索データとして利用される、という構成です。 S3のデータをEMRで集計し、Redshiftに格納 単純なETL処理によるバッチでは間に合わない位の大量データを扱う例も増

[tmatsuu]

ほう。12ページのS3バケットのディレクトリ構成は取り出したときに一意で判別しやすくするためだろうか。