AWS Solutions Architect ブログ
こんにちは、パートナーソリューションアーキテクト（PSA)の相澤です。 先日開催致しました AWS Black Belt Online Seminar AWS Glue の資料を公開いたしました。 当日参加者の皆様から頂いたQAの回答と併せてご紹介致します。 今後のAWS Black Belt Online Seminarのスケジュールは こちら です。皆様のご参加をお待ちしております。 過去の資料や、動画もこちらから視聴可能ですので、そちらもご参照ください AWS Black Belt - AWS Glue from Amazon Web Services Japan --------- Q1 現在AWS GlueにてETLのリプレイスを検討しております。Kinesis Firehose → S3 → Glue → S3 というストリーミングETLを組む場合、AWS GlueのJobをど
AWS Glue（分析用データ抽出、変換、ロード (ETL) ）| AWS
この図は、AWS Glue のユーザーが、複数のデータ統合エンジンを使用したジョブワークロードを作成するために、インターフェースオプションを選択する方法を示しています。左側に 1 つ、真ん中に 2 つ、右側に 1 つ、計 4 つのセクションを表示します。 左側の最初のセクションは、「データソース」と呼ばれています。 「Amazon S3」、「Amazon DynamoDB」、「Amazon EC2 上で実行するデータベース」、「データベース」および「SaaS」の、データソースが含まれます。 最初のセクションに、「インターフェースの選択」という図の上部にある真ん中のセクションを指す矢印があります。 この 2 番目のセクションには、3 つのセクションが含まれています。「AWS Glue Studio」、「Amazon SageMaker ノートブック」、「ノートブックと IDE」の 3 つです
AWS Glue – 一般提供開始 | Amazon Web Services
Amazon Web Services ブログ AWS Glue – 一般提供開始 本日、AWS Glue の一般提供開始がアナウンスされました。Glue はフルマネージドでサーバレス、そして、クラウド最適化された ETL(extract, transform, load) サービスです。Glue は他の ETL サービスやプラットフォームと、いくつかのとても重要な点で違いがあります。第1に、Glue はサーバレスです — リソースのプロビジョニングや管理を行う必要はありません。ジョブ、もしくは、クローリングを実行している間に Glue が使用したリソースに対する支払いのみで利用可能です(分単位課金) 。第2に、Glue のクローラです。 Glue のクローラは、複数のデータソース、データタイプ、そして、様々な種類のパーティションを跨いで、スキーマを自動的に検出・推測することができます。ク
Pentaho Data IntegrationでETL(Extract/Transform/Load)を体験する - Qiita
まえがき TableauやQlikViewなどのBusiness Intelligence(BI)ツールの話を目にする機会が多くなってきました。 BIというのはずいぶん前から聞いたことがありましたが、あまり自分の身の回りでは関係ないように思えていた時期が長く、個人的にはTableauやRedshift、Treasure Dataの出現で一気に一般に広まり始めたような気がします。 とはいえ、BIツールは扱う領域も広く、また、多くのツールが有償で高価です。 そんな中、データ分析が支えるスマホゲーム開発 ～ユーザー動向から見えてくるアプリケーションの姿～で紹介されていたオープンソース(GitHubで公開)のPentaho Communityに出会ったので、Pentahoについて少し調べてみました。 上記の本では紹介されていませんでしたが、Pentaho Communityのプロダクトのなかでも、
Extract/Transform/Load - Wikipedia
Extract/Transform/Load（略称：ETL）とは、以下のようなデータフローを指す。 Extract - 情報源からデータを抽出 Transform - 抽出したデータをビジネスでの必要に応じて変換・加工 Load - 変換・加工済みのデータをターゲットシステムやファイルとしてロード ETLという用語はデータウェアハウスでのデータのロードだけでなく、任意のデータベースでのロード工程を指すこともある。ETLはレガシーシステムとモダンシステムのデータ統合にも使われる。通常のETL実装は、処理についての監査証跡を記録する。 ETL工程の第1の部分は、情報源となるシステムからデータを抽出することである。たいていのデータウェアハウス構築では、複数の情報源からデータを集積する。個々の情報源はデータの構成やフォーマットが他とは異なる可能性がある。典型的な情報源のデータフォーマットとしては関
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tableau-id Press -タブロイド- – TableauとかAlteryxとかRとか機械学習とか、データ分析周りの気まぐれTechブログ「Tableau-id -タブロイド-」
