AWS Glueを用いたデータ分析基盤を構築した✨ - Studyplus Engineering Blog
こんにちは。業務委託の@morix1500と申します。 この度、スタディプラス様からデータ分析基盤の構築の業務委託を受け、AWSのマネージドサービスを用いて構築を行いました。 その際に得られた知見を共有したいと思います。 データ分析基盤について 今回スタディプラス様から受けたデータ分析基盤の要件は以下のようなものでした。 S3にあるログをAWS Athenaから閲覧できるようにしてほしい S3にあるJSON形式のログを列指向型のフォーマット(Parquet)に変換してほしい ログは順次取り込み（毎朝、昨日分のログが見れるようにする） すでにログはS3にあったのでログ収集は終わっています。 データ分析基盤の構成 今回作成したデータ分析基盤はAWSのマネージドサービスで完結してます。 今回構築したのはGlueの部分です。 Glueの構成や初期構築の手順は以下のドキュメント通りです。 https
AWS Glue 実践入門 環境準備編(1)：IAM権限周りの設定について | DevelopersIO
AWS Glueのサービスを本格活用するには、事前に幾つかの準備作業が必要となります。当エントリではそのうちの「IAM権限周り」に関する設定内容を1つずつ進めながら実際にどのような構成となっているかを見ていきたいと思います。 Setting up IAM Permissions for AWS Glue - AWS Glue 目次 Step1. AWS Glueサービスで用いるIAMポリシーを作成 Step2. AWS Glueサービスで用いるIAM Roleを作成 Step3. AWS GlueにサインインするIAMユーザーに対してポリシーを添付 Step4. ノートブックサーバ用のIAMポリシーを作成 Step5. ノートブックサーバ用のIAM Roleを作成 ここまでの手順でで出来上がった要素 まとめ Step1. AWS Glueサービスで用いるIAMポリシーを作成 AWS Glu
AWS Glue 新しくサポートされたScalaでETL Job作成を試してみました | DevelopersIO
はじめに AWS Glueは、Pythonに加えてScalaプログラミング言語をサポートし、AWS Glue ETLスクリプトの作成時にPythonとScalaを選択できるようになりました。新しくサポートされたScalaでETL Jobを作成・実行して、ScalaとPythonコードの違いやScalaのユースケースについて解説します。 AWS Glue Now Supports Scala in Addition to Python ScalaでETL Jobを作成して実行する ETL Jobは、ソース、ターゲット、カラムのマッピング、ETL言語などを指定すると対応したETLコードが自動生成されます。その生成されたコードに対して、さらにテンプレートを追加したり、コードを編集します。では早速、ScalaでETL Jobを作成してみます。 Job Properties 全般的なETL Jobに
AWS Glue 実践入門：Amazon RedshiftのテーブルをETLする | DevelopersIO
先日に引き続き、クローラで作成したAWS Glue Data Catalog 上のRedshiftのテーブル定義を利用して、ETL Jobを作成します。ETL Jobの作成、そして実行時の挙動についても解説します。 このブログで利用するxxxx_ssbgz_customerテーブル定義の作成方法は以下のブログを御覧ください。 AWS Glue 実践入門：Amazon Redshiftのテーブルをクロールする ETL Job の作成 ジョブとは、抽出、変換、およびロード（ETL）作業を実行するために必要なビジネス・ロジックのことです。ジョブの実行は、イベントによってスケジュールまたは駆動されるトリガによって開始されます。 Job properties ジョブの名前やIAM Role等の基本情報を設定します。 Redshiftに対するクエリ実行が主なので、画面下のScript librarie
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
