AWS Glue 実践入門:Apache Zeppelinによる Glue scripts(pyspark)の開発環境を構築する
![AWS Glue実践入門 の記事一覧 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6f1fde3cff7767965729d2d96d3e31da5b8a643d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_developers.io_1200x630.jpeg)
AWS Glue 実践入門:Apache Zeppelinによる Glue scripts(pyspark)の開発環境を構築する
security_group.tf ## Outbound only ### security group resource "aws_security_group" "outbound_only" { name = "outbound_only" description = "outbound_only" vpc_id = "${aws_vpc.main.id}" tags { Name = "outbound_only" Project = "${var.project["name"]}" DeployBy = "Terraform" } } ### security group rule resource "aws_security_group_rule" "outbound_only_rule_egress0" { type = "egress" from_port = 0 to_
おはようございます、加藤です。AWS Systems Manager(以降、SSM)でAmazon Linux2を簡易設定するドキュメントを作ったので公開します。 できること 簡易設定という言葉だけでは何ができるかわからないので説明します。今回作成したドキュメントをAmazon Linux2に対して以下の処理を実行できます。 ホスト名変更 YUMアップデート セキュリティアップデートのみも可能 タイムゾーン変更 言語設定変更 SSMを使って処理を行うので、アウトバウンド通信許可 or SSMへのVPCエンドポイントがあればSSHで端末に接続せずにこれらの作業が行なえます。 作ったドキュメント ドキュメントは下記のリンクを参考にYAML形式で作成しました。 SSM ドキュメントの構文 - AWS Systems Manager User-AmazonLinux2-SetupScript.ym
概要 AWS Glue を利用すると Apache Spark をサーバーレスに実行できます。基本的な使い方を把握する目的で、S3 と RDS からデータを Redshift に ETL (Extract, Transform, and Load) してみます。2017/12/22 に東京リージョンでも利用できるようになりました。また、本ページでは Python を利用しますが、新たに Scala サポートされています。 AWS Glue ETL 概略図 AWS Glue を ETL サービスとして利用する場合のシステム概略図は以下のようになります。 Data Source から Data Target に対して ETL します。本ページでは Data Source は S3 と RDS であり、Data Target は Redshift となります。 ETL は Job として実行され
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く