AWS Glue × Apache Iceberg で構築する更新可能なデータレイクテーブル
こんにちは。シンプルフォーム株式会社 にてインフラエンジニアをしています、山岸です。 社内向けに運用しているデータ分析基盤について現状抱えているいくつかの課題を克服すべく、最近は更改に向けた検証に取り組んでいます。今回は取り組みの一つである「AWS Glue と Apache Iceberg によるデータレイクテーブル構築」についてご紹介したいと思います。 概要 当社ではデータ分析基盤の ETL 処理に AWS Glue を使用しています。社内のデータ分析業務等のため、RDS データベース等のデータソースから日次で S3 上に構築された DWH に連携しています。 現行のデータ分析基盤では、DB テーブル上のデータを毎日全件洗い替えています。このような処理方法は ETL 実装や問題発生時の復旧が簡単である一方、ETL 処理のコスト効率が悪く、データ量の増加に伴って処理時間も長くなっていきま
AWS Step Functions および AWS Glue を使用した Amazon Redshift ベースの ETL ワークフローのオーケストレーション | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions および AWS Glue を使用した Amazon Redshift ベースの ETL ワークフローのオーケストレーション Amazon Redshift は、ペタバイト規模の完全マネージド型クラウドデータウェアハウスサービスで、現在お使いのものと同じ SQL ベースのツールとビジネスインテリジェンスアプリケーションを使用した迅速なクエリパフォーマンスを提供します。お客様の多くは、既存の SQL ベースのスクリプトを素早く移行するために既存の SQL 開発者スキルセットを使用する ETL (抽出、変換、ロード) エンジンとして Amazon Redshift を利用しておられると共に、Amazon Redshift が完全に ACID 対応であることから、ソースデータシステムからの変更データを統合する
AWS Glueをローカル環境で実行してみた | DevelopersIO
環境変数を設定します。MavenとSparkのパスは個人の環境に合わせて変更してください。 echo 'export PATH=$HOME/.apache-maven-3.6.2/bin:$PATH' >> ~/.bash_profile echo 'export SPARK_HOME=$HOME/.spark-2.2.1-bin-hadoop2.7' >> ~/.bash_profile echo 'export JAVA_HOME=`/usr/libexec/java_home -v 1.8`' >> ~/.bash_profile Pythonでローカル開発 AWS Glue Pythonライブラリを取得 GitHubからAWS Glue Pythonライブラリをダウンロードします。以降の作業はAWS Glue Pythonライブラリのルートディレクトリで行います。 https://
AWS Glue 実践入門：サービスメニュー内で展開されている「ガイド付きチュートリアル」を試してみた | DevelopersIO
AWS Glueには、公式ドキュメントによる解説の他にも管理コンソールのメニューから展開されている「チュートリアル」が存在します。まずは実際に動かしてみよう！という形でガイドも丁寧に用意されており、とても分かり易い内容となっていました。当エントリではその内容について実際に動かしてみたものを、順を追って見ていきたいと思います。 目次 AWS Glueメニューから利用可能な「チュートリアル」 AWS Glueチュートリアル実践 クローラの作成 クローラ情報の作成 データストアの指定 クローラのスケジュール設定 クローラ出力先の指定 クローラの実行 テーブルの探索 テーブル一覧の表示と対象テーブルの検索 テーブルの詳細情報を確認 スキーマ情報の編集 バージョンの比較 ジョブの追加と実行 ジョブ基本構成の設定 入力データソースの指定 出力データソースの指定 入力元(ソース)＆出力先(ターゲット)の
AWS Glueのお試し：ジョブを動かしてみるのと、ついでに気づいたAthenaとの連携を確認 - 冥冥乃志
前回、全体像を追いかけてクローラを実行するだけで結構なボリューム行ってしまったので続きです。 mao-instantlife.hatenablog.com 今回は右から左に流すジョブを作ってみるのと、その過程でわかったことを何点かまとめておきたいと思います。 Webコンソールからジョブを作る ソースもターゲットが単一で、単にマッピングの変更があるレベルであればウィザードから作成するだけでジョブが作れます。下図のように、ソースもターゲットもウィザード上はラジオボタンなので、ソースやターゲットが単一でないようなレベルのジョブを作りたい場合は、メインのソースやターゲットのみ決定してテンプレートとして作った後でソースを編集するなどの方法を取る必要があります。 ちなみに、ジョブの全般的な設定でTemporary directoryの入力が必須なんですが、デフォルトでは何も入力されていません。スクリプ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://future-architect.github.io/articles/20211006a/
AWS Black Belt - AWS Glue