クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2025年1月号 | DevelopersIO
クラウド事業本部コンサルティング部の石川です。今月は、AWS re:Invent2024のAWSのアナリティクス関連サービスのアップデート特大号です。 AWS re:Invent 2024では、アナリティクス分野で重要な発表がありました。次世代Amazon SageMakerの統合プラットフォーム「Amazon SageMaker Unified Studio」と「Amazon SageMaker Lakehouse」、AWS Glue 5.0の発表、AWS Clean Roomsの複数クラウド・データソース対応、Amazon OpenSearch Serviceの新分析エクスペリエンス提供などが注目を集めました。 また、AWS re:Invent 2024でAmazon S3 Tablesが発表されました。Apache Iceberg形式のテーブルデータに最適化されたストレージで、従来の
Amazon S3 Tables を AWS Glue 用いてNamespaceとテーブルの作成、データ追加・削除までやってみた #AWSreInvent | DevelopersIO
Amazon S3 Tables を AWS Glue 用いてNamespaceとテーブルの作成、データ追加・削除までやってみた AWS事業本部コンサルティング部の石川です。S3 Tables の画面で「テーブルを作成、変更、削除するには、Amazon EMR を使用します」というメッセージを見たら、AWS Glueでできてもいいのでは？と思っていたところ、弊社にはData Firehoseを用いてデータを書き込むというアクロバティックなことをサクッとやってしまう漢がおりまして、私も負けないぞ、ということで挑戦してみました。 ということで、Glue 5.0のパッケージなどをこそこそと調べていたのが前日のブログになります。 Amazon S3 Tables を AWS Glue したい理由 私は実務者なので 巷の人たちが書いてる検証ブログのように、vanilla sparkでS3 Table
AWS Lake Formationを有効にした時の既存リソース(Glue,S3)へのアクセスについて整理してみる | DevelopersIO
はじめに データ事業本部ビッグデータチームのkasamaです。 今回はAWS Lake Formationを有効にした時の既存リソース(Glue、S3)へのアクセスがどのようになるか自分の理解も含めて整理してみたいと思います。 概要 検証内容としては、以下の3種類のIAM Roleがあるときに、AWS Lake FormationがLake Formationモード、もしくはハイブリッドアクセスモードの時にどのようなアクセス制御となるかを検証したいと思います。 Admin権限を持つIAM Role 既存リソース(Glue、S3)に対する直接アクセス権限を持つIAM Role 既存リソース(Glue、S3)に対する直接アクセス権限を持たない and Lake Formationアクセス権限を持つIAM Role AWS Lake Formationモード AWS Lake Formation
Spark未経験のチームが2年間模索して実感した、効果的なパフォーマンス改善6選 - KAKEHASHI Tech Blog
こちらの記事は カケハシ Advent Calendar 2022 の17日目の記事になります。 こんにちは、カケハシで Musubi Insight のバックエンドエンジニアをしている末松です。 Musubi Insight に表示するデータは夜間の日次バッチで集計しているのですが、テスト・品質担保・パフォーマンスなどなど悩みが絶えません... 以前もバッチ処理のテストに関するブログを掲載しましたが、今回はパフォーマンスに関する記事になります！ https://kakehashi-dev.hatenablog.com/entry/2022/08/12/094856 Musubi Insight データ集計の歴史 Musubi Insight プロダクトリリース時からデータ集計は AWS の Glue Job で作られていましたが、最初は Python Shell が中心でした。 利用薬局
Apache Iceberg の CoW と MoR 〜 データの読み取りと書き込みのパフォーマンスのバランスを取るための2つの戦略 | DevelopersIO
CoW と MoR の選択基準 データのアクセスの要件に応じて、読み取り重視ならCoW、書き込み重視ならMoRを選択することをお勧めします。ユースケースに応じて最適なパフォーマンスを実現するためにテーブルごとにCoWとMoRを適切に組み合わせることができます。 MoR: 頻繁な更新が必要な場合 ストリーミングデータ処理 IoTデバイスからのリアルタイムデータストリーム オンラインプラットフォームからの継続的なイベントデータ 頻繁な更新が必要なデータ ユーザープロファイル情報 リアルタイムの分析ダッシボード CoW: 読み取り性能が重要な場合 読み取り重視のワークロード データウェアハウスの分析クエリ ビジネスインテリジェンスレポート 履歴データの分析 大規模な一括更新 日次バッチジョブ 定期的なデータアーカイブ 履歴データの分析 CoW と MoR のサポート状況 Amazon Athen
[アップデート]AWS GlueでAmazon S3 Access Grantsが利用できるようになりました | DevelopersIO
みなさんこんにちは、杉金です。 AWS GlueでAmazon S3 Access Grantsが利用できるようになりました。 ただし、サポートされるジョブタイプはSparkのみです。 Glue SparkジョブでS3 Access Grantsを使用することで、Entra IDやOktaなどのIdpやIAMプリンシパルとS3に保存されているデータセットとを紐付けることができます。これにより、バケットポリシーや個別のIAMロールを作成・管理することなくS3の権限を簡単に管理できるようになりました。 S3 Access Grantsってなんだっけ？ S3 Access Grantsは、S3におけるアクセス制御のひとつで、S3バケットポリシーやIAMポリシーのポリシーサイズ制限内に収まりきらない、大規模なデータセットに対するアクセス制御を実現するための機能です。 S3 Access Grant
![[アップデート]AWS GlueでAmazon S3 Access Grantsが利用できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/56f2d84d70eaa1285e8c4181fa5b8c217b19d5ce/height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2F3nibOl2sZ0LKJueI0FHFi5%2F14de7bd294f7916a28b789105c60d450%2Freinvent-2024-newservice-jp.jpg)
[アップデート] Glueテーブルの列統計を自動で計算する機能が登場しました #AWSreInvent | DevelopersIO
データ事業本部 インテグレーション部 機械学習チームの鈴木です。 Glueデータカタログのテーブルで、テーブルの作成およびデータの変更を検知し、列統計を自動で計算してくれる機能がアナウンスされたのでご紹介します。 列統計について Glueテーブルであらかじめカラムの統計情報を計算しておくことで、Amazon Athenaなどから実行するSQLをより最適化できるようにする機能です。 Glueテーブルの画面の、Column statisticsタブから確認できます。 列統計はこれまでスケジュールかオンデマンドで実行するものでしたが、今回のアップデートでデータの変更やテーブルの作成をトリガーに自動で実行してくれるようになりました。東京リージョンでもサポートされています。 設定はLake Formationから行います。 使ってみた ここではとりあえずあるIcebergテーブルについて、列統計を自
AWS Glueをいつ採用するか考える | Fintan
/***************************************** { Fintan } 先進技術・ノウハウを駆使して、新しい社会の活力を創造し、人々の笑顔を増やしていく。 *****************************************/
Amazon AthenaとAWS Glueを使ってHiveテーブルからIcebergテーブルに移行する | DevelopersIO
データアナリティクス事業本部インテグレーション部機械学習チーム・新納（にいの）です。 Amazon Athenaで利用可能なテーブルフォーマットのひとつであるIcebergでは、ACIDトランザクションやタイムトラベル機能をサポートしたりスキーマ変更に追従できたりと、さまざまな便利な機能が提供されています。UPDATE/DELETE/MERGEといったデータ編集もSQLを経由して行えますので、AthenaとStep Functionsを組み合わせたETLフローも作りやすくなりました。 こうした便利な機能を利用するため、既存のHive形式のテーブルをIcebergに移行したいケースも出てくるかもしれません。 今回はそんなケースを想定していくつか移行方法をご紹介します。 気をつけるポイント Athenaでは、CREATE TABLE AS SELECT（CTAS）を使ってテーブルを作成する際に
AWS Step Functions の Distributed Map と再実行機能を使用した効率的な ETL パイプラインの構築 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions の Distributed Map と再実行機能を使用した効率的な ETL パイプラインの構築 AWS Step Functions は、完全マネージドのビジュアルワークフローサービスで、AWS Glue、Amazon EMR、Amazon Redshift などのさまざまな抽出・変換・読み込み (Extract, Transform, Load; ETL) テクノロジーを含む複雑なデータ処理パイプラインを構築できます。個々のデータパイプラインタスクを繋ぎ、ペイロード、リトライ、エラー処理を最小限のコードで構成することで、ワークフローを視覚的に構築できます。 Step Functions は、データパイプライン内のタスクが一時的なエラーで失敗した場合、自動リトライとエラー処理をサポートしていますが、アクセ
AWS Glue クローラーとテーブル作成におけるApache Iceberg フォーマットサポートの紹介 | Amazon Web Services
Amazon Web Services ブログ AWS Glue クローラーとテーブル作成におけるApache Iceberg フォーマットサポートの紹介 Apache Iceberg は、Amazon Simple Storage Service（ Amazon S3 ）における大規模データセット用のオープンなテーブルフォーマットであり、大規模テーブルに対する高速なクエリパフォーマンス、アトミックコミット、同時書き込み、SQL 互換のテーブル進化を提供します。Iceberg はデータレイクにおける ACID トランザクションをサポートし、スキーマやパーティションのエボリューション、タイムトラベル、ロールバックなどの機能で非常に人気があります。Iceberg はデータセットの状態に関するメタデータ情報を取得し、データセットの進化や時間経過に伴う変化を記録します。 AWS Glue クローラ
AWS GlueのIcebergテーブルに対して自動的にコンパクションを実行する機能を使ってみた | DevelopersIO
GlueがサポートしたIcebergテーブルに対するautomatic compactionの機能がどのように使えるか確認したのでご紹介します。 データアナリティクス事業本部 機械学習チームの鈴木です。 先日、Glueデータカタログ上からIceberg形式のGlueテーブルに対して自動でファイルのコンパクションを実行する機能のリリースがアナウンスされていたので試してみました。 例えば機械学習の文脈でも、データレイク上のIcebergテーブルから特徴量を取得し利用することがあります。『Amazon SageMaker Feature Store が Apache Iceberg テーブルフォーマットをサポートするように』のようなユースケースです。このアナウンスでも紹介されているように、小さなデータファイルをまとめて大きなファイルに置き換える仕組みを自動化する機能がGlueデータカタログでリリ
[AWS Glue] テーブルへのカラム追加後に、どのような場合に INSERT INTO クエリが失敗するようになるのか確認してみた | DevelopersIO
既存と異なる型のカラムを追加した場合（クエリ失敗） 続いて、既存の airTemperature や waterTemperature と異なる型のカラム isRainy を追加します。ここでも敢えて既存のカラムの位置が変わるように追加します。 columns: [ { name: 'id', type: glue_alpha.Schema.STRING, }, { name: 'waterTemperature', type: glue_alpha.Schema.DOUBLE, }, + { + name: 'isRainy', + type: glue_alpha.Schema.BOOLEAN, + }, { name: 'airTemperature', type: glue_alpha.Schema.DOUBLE, }, ], 動作確認 さて、先ほどと同様に INSERT INTO
S3 ExportされたAuroraのデータをAWS Glueを使ってDBに書き戻す - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
Amazon AuroraのS3エクスポート機能 AuroraのS3エクスポート機能は、DBクラスターの現在のデータやスナップショットのデータをS3にApache Parquet形式で出力する機能です。 Apache Parquet形式は、スキーマ情報を内包している・列志向で分析用途にも適している・高効率な圧縮が可能・複雑なデータ構造にも対応しているといった特徴を備えたデータ形式です。AthenaやRedshift、あるいはBigQueryへの取り込みに利用することができ、これらを使ったDB内のデータ分析が可能になります。 高効率さについての実験として、試しに手元の64GBのクラスタースナップショットをS3エクスポートしてみたところ、出力されたParquetファイルの合計サイズは約4GBと、なんと1/16にも圧縮されました。特に毎日何TBもの大容量データをリージョン外に転送するようなケース
AWS Glue クローラーで Apache Hudi テーブルのサポートを開始
AWS Glue クローラーが Apache Hudi テーブルをサポートするようになりました。これにより、お客様は Amazon Athena などの AWS 分析サービスから Apache Hudi テーブル内のデータを直接クエリできるようになります。Apache Hudi は、データベースとデータウェアハウスの機能をデータレイクで利用できるようにするオープンソースのテーブル形式です。Apache Hudi は、データエンジニアがクエリのパフォーマンスを維持しながら、絶えず変化するデータセットを管理するのに役立ちます。 以前、Amazon Athena ユーザーは、Apache Hudi テーブルからデータをクエリするために、Glue データカタログ内にテーブルを手動で作成し、パーティションの変更を更新して、クエリ結果が最新のものになるようにする必要がありました。本日のリリースにより、
Amazon Athena でスキーマの変換を伴うデータの洗い替えしてみた | DevelopersIO
要するに、id と timestamp は同じスキーマ名および値を使用、temperature は internal_temperature にスキーマ名を変換、また external_temperature スキーマを新しく設け既定値は 0 にするという洗い替えを行いたいです。 そこで今回は、大量のデータをサーバーレスな環境のみでクエリして分析することができる Amazon Athena を利用して、スキーマの変換を伴う洗い替えを行う方法を確認してみました。 環境作成 環境作成は AWS CDK (TypeScript)で行います。移行元および移行先となる S3 Bucket と Glue Table のリソースを作成しています。 import { aws_s3, RemovalPolicy, Stack, StackProps } from 'aws-cdk-lib'; import
Amazon AthenaとAWS Glueの料金体系をまとめてみた - サーバーワークスエンジニアブログ
こんにちは、エンタープライズクラウド課の加藤ゆです。 AthenaとGlueの料金ページを解読するのがつらかったので、まとめてみました。 なお当記事に記載する情報は、2023年3月1日現在のものです。 最新料金体系は記載の公式ドキュメントをご確認ください。 Athenaの料金体系 課金対象 ①スキャンされたデータ 1 TB あたりの課金 ②DPU (Data Processing Unit) 時間ごとの課金 Glueの料金体系 課金対象 ①ETLジョブの課金 オプション機能の料金 ②Glueデータカタログの課金 ③Glueクローラの課金 おわり 公式ドキュメントの料金体系を少し読みやすくまとめたものなので、内容はドキュメントと変わりはありません。 また、本記事記載の料金はすべて「アジアパシフィック（東京）」で試算しています。 Athenaの料金体系 aws.amazon.com 基本的にそ
AWSローコード-ノーコードサービスによる投資プロセスの高速化 | Amazon Web Services
Amazon Web Services ブログ AWSローコード-ノーコードサービスによる投資プロセスの高速化 このブログ記事は Accelerate the investment process with AWS Low Code-No Code services を翻訳したものです。 ここ数年、機関投資家を顧客とする資産運用会社では、様々なデータソースから入手したデータをもとに運用するプロセスにおいて大きなパラダイムシフトが起きています。リスク相関の頻繁な変化、予期せぬボラティリティの増大、パッシブ戦略との競争の増加などに伴い、資産運用会社は競争力を高め最終的な損益向上のために、より幅広いサードパーティのデータソースを利用しています。しかし、複数のデータソースから利益を引き出すプロセスは大きな困難を伴います。資産運用会社のデータエンジニアリングチームはデータの取得と前処理に追われ、デー
[失敗談]Partition Projectionの設定不足で1クエリ毎にS3 ListBucketが692,040回呼ばれていた話 | DevelopersIO
[失敗談]Partition Projectionの設定不足で1クエリ毎にS3 ListBucketが692,040回呼ばれていた話 こんにちは、洲崎です。Partition Projectionを手探りでやっていたら、S3がとんでもないことになってしまったので紹介します。。 いきなりまとめ Partition Projectionを正しく設定できていなかった 一部設定出来ていたが故に、'projection.year.range'で設定していた2021年〜2100年までのパーティション(計692,040パーティション)を都度S3から呼び出してしまった パーティションを改善したらAthenaで30分かかってタイムアウトしてたのが、2秒程でクエリが完了するようになった クエリをすると異様に時間がかかる。。 Amazon ConnectのCTRデータをAmazon S3に貯めて、QuickSi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - aws/aws-sdk-pandas: pandas on AWS - Easy integration with Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer and S3 (Parquet, CSV, JSON and EXCEL)
