AWS Lake Formationのチュートリアルをやってみた！ | DevelopersIO
前回のブログでAWS Lake Formationを少し触ってみましたが、イマイチ概念がつかめなかったのでこちらのチュートリアルもやってみようと思います。 チュートリアルは2つ用意されているのですが、今回は Tutorial: Creating a Data Lake from an AWS CloudTrail Source をやっていきます。 ※個人的にわかりやすい手順にまとめているので、実際のステップと異なる部分がありますが、ご了承ください。 Lakeformationとは？ 個人的に押さえておきたいポイントは次の3つです。 IAMを拡張した独自のアクセスコントロールモデルによるきめ細かなアクセス制御が可能 AWS Glueの拡張機能（データカタログ、ジョブ、クローラー、ワークフローなどの実態はGlueのそれ） AWS Lake Formation自体は無料だが、配下のサービス利用費
【AWS Data Lake】長期間のデータをバッチ分析する環境・バッチレイヤを構築してみた（ハンズオン2） | DevelopersIO
こんにちは。DA事業本部の春田です。 管理のしやすさや拡張性の高さで注目を集めている、次世代のデータ分析基盤Data Lakeについて、ハンズオンにトライしてみました。 Datalake Handson 本記事では、Lab4~Lab6のニアリアルタイムデータ分析環境（スピードレイヤ）を構築していきます。今回は前回のLab3が終了した状態で進めているので一部の環境構築は飛ばしていますが、ハンズオンではLab4からでも試せるように手配されています。 Lab4: アプリケーションログの永続化と長期間データの分析と可視化 Lab4: アプリケーションログの永続化と長期間データの分析と可視化 Lab4は、ログデータをKinesis Data FirehoseでS3に保存し、Glueでスキーマを作成し、Athenaでアドホック分析を行う環境を構築します。（月額費用がかかるQuickSightはスキップ
【AWS Data Lake】ニアリアルタイムデータ分析環境・スピードレイヤを構築してみた（ハンズオン1） | DevelopersIO
こんにちは。DA事業本部の春田です。 管理のしやすさや拡張性の高さで注目を集めている、次世代のデータ分析基盤Data Lakeについて、ハンズオンにトライしてみました。 Datalake Handson 本記事では、Lab1~Lab3のニアリアルタイムデータ分析環境（スピードレイヤ）を構築していきます。 Lab1: はじめの準備 Lab1: はじめの準備 はじめにハンズオン共通で使用するVPC、EC2、IAM Roleを設定していきます。まずEC2で使用するキーペアを作成します。 上で作成したキーペア datalake-handson-haruta を用いて、CloudFormationからEC2インスタンスを作成します。 EC2の構築が完了したら、 datalake-handson-haruta の公開鍵でSSHログインし、 /root/es-demo/testapp.log にログが吐
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
