AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス AWS GlueはApache Spark ETLジョブでのデータ分析・データ処理を行うために、様々なデータソースから大量のデータセットを準備(抽出および変換)し、ロードするサーバーレスな環境を提供します。この投稿のシリーズでは、Apache SparkアプリケーションとGlueのETLジョブの開発者、ビッグデータアーキテクト、データエンジニア、およびビジネスアナリストが、AWS Glue上で実行するデータ処理のジョブを自動的にスケールするのに役に立つベストプラクティスについて説明します。 まず最初の投稿では、データ処理を行うジョブのスケーリングを管理する上で重要な2つのAWS Glueの機能について説明します。1つ目は、
AWS Schema Conversion Tool に Oracle ETL ジョブを AWS Glue へ移行するサポートを追加
従来の抽出、変換、ロード (ETL) ツールは仕様が複雑で、導入やテスト、展開に数か月を要するものでした。ETL ジョブの構築後も、データのフォーマットやスキーマが頻繁に変更され、新たなデータソースも登場するため、ジョブの維持に時間がかかっていました。ETL ジョブを AWS Glue のように管理の行き届いた、サーバーレスの ETL サービスに移行することにより、複雑な ETL ジョブを管理する上での運営側の経費を削減できます。AWS Glue では、定期的な ETL ジョブのスケジューリング、複数のジョブの連結、AWS Lambda といった他のサービスからのオンデマンドによるジョブ呼び出しを簡単に実行できます。 最新版の AWS Schema Conversion Tool (Build 624) では、Oracle ETL ジョブを Amazon Redshift データウェアハウ
5TB/日 のデータをAWS Glueでさばくためにやったこと（性能編） | フューチャー技術ブログ
フューチャー Advent Calendar 2018 Qiita 5日目の記事です。 みなさん、こんにちは。 本記事は、AWS Glueについてのサービス概要や開発Tipsを紹介する5TB/日 のデータをAWS Glueでさばくためにやったこと（概要編）の続編で、Glueの性能検証した内容を共有していきます。 検証についてGlueの性能がテーマですが、Glueそのものには設定できるパラメータが少ないためチューニングの余地が比較的小さいです。 その中で、Glueの機能に着目すると以下の1~4が挙げられると思います。 DPU数 ジョブに使用されるDPU(Data Processing Unit)の数、Sparkで言うところのworker nodeの数に該当 1DPUは4vCPU、16GBのメモリを持ち、これ以外を選択することは不可 ジョブ実行に使用できるDPU数は最低2つ、最大で100まで設
Amazon Athena、AWS Glue、Amazon QuickSight を使って Amazon Connect のレコードを分析する | Amazon Web Services
Amazon Web Services ブログ Amazon Athena、AWS Glue、Amazon QuickSight を使って Amazon Connect のレコードを分析する 昨年、当社はあらゆるビジネスがより低コストでより良い顧客サービスを提供できるようにするためのクラウドベースのコンタクトセンターサービス Amazon Connect をリリースしました。このサービスは、Amazon のカスタマーサービスアソシエイトに与えるのと同じ技術に基づいて構築されています。このシステムを使用して、従業員は発送や注文情報を問い合わせる顧客と、何百万件の会話を行います。これは AWS のサービスとして利用できますので、コンタクトセンターのエージェントがわずか数分で電話をかけたり受けたりできるようになります。一切のハードウェアのプロビジョニングが不要です。 ドキュメントに記載されている
re:Growth 2016で「AWS Glueのご紹介」について話してきました！ #cmdevio #reinvent | DevelopersIO
こんにちは、yokatsukiです。 本日(というか現在)12月6日に実施しているAWS re:Invent 2016の参加報告イベント「re:Growth 2016」にて登壇しました。 今回のAWS re:Invent 2016で新しく発表された「AWS Glue」について、ブレイクアウトセッションを受講した内容を交えて概要説明を行いました。 スライド リアクション 気になっていたGlue データ辞書はHive互換のメタデータリポジトリを。 ETL の型から自動変換コードを出力（Job Authoring) Apache Sparkで実行するためのPythonコードを出力。 ETLの実行（ジョブ実行）がクラウドネイティブ！#cmdevio — Atsushi Takayasu (@taka1970) December 6, 2016 1番聞きたかったglue、かなりヤバイな。 もはやDB
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
