AWSのDWHツール Amazon Redshift、同Spectrum、Athena | 株式会社スタイルズ
データウェアハウス（DWH）とは？ データウェアハウス（Data Ware house、DWH）とは、直訳すれば『データの倉庫』を意味します。データの利活用のために、膨大なデータを保存しておくためのシステムです。近年におけるDX（デジタルトランスフォーメーション）の風潮の中で、データ分析の重要性が強調されるにつれて、DWHの重要性も増してきています。 本記事では、DWHの機能やAWS（Amazon Web Services）におけるDWHのサービスについて紹介していきます。 データベースとの違いとは？ DWHもデータベースも、企業においてデータを蓄積するためのシステムであることには変わりありません。しかし、大きな違いとして以下の2点が挙げられます。 目的の違い データベースはITシステムにおいてデータを正確に保存し、ITシステムを正常稼働に導くためのツールです。ITシステムにおいて不要なデ
ゼロ ETL とは何ですか? - ゼロ ETL の説明 - AWS
ゼロ ETL は、ETL データパイプラインを構築する必要性を排除し、または最小限に抑える一連の統合です。抽出、変換、ロード (ETL) は、さまざまなソースからのデータを結合、クリーニング、正規化して、分析、人工知能 (AI)、機械学習 (ML) のワークロードに対応できるようにするプロセスです。従来の ETL プロセスは、開発、メンテナンス、スケールに時間がかかり、複雑です。一方、ゼロ ETL 統合では、ETL データパイプラインの作成を必要とせずに、ポイントツーポイントのデータ移動を円滑に行うことができます。また、ゼロ ETL を使用することで、データを移動することなく、データサイロ全体でクエリを実行できるようになります。 ETL について読む » ゼロ ETL 統合は、従来の ETL プロセスでのデータ移動に関する既存の課題の多くを解決します。 システムの増大する複雑さ ETL デ
AWSで2022に打破されたアンチパターン - Qiita
TLDR AWSで2022年の1月から9月までのアップデートが多数ありました。私（と、何人かのサポーター）が考えた、この期間内の打破されたアンチパターンを紹介します。32項目ありました！ アンチパターンって何よ？ 「AWSでこうしたい」という思いからAWSを使っていく方は多いはずです。 そのなかで、数多くのAWS使いこなしの工夫が生まれ、成功例が生まれていきました。AWSのサービスとして提供されていないことを工夫でなんとかした、そんな成功例たち。それが「秘伝のタレ」となり、「さわってはいけないもの」、あるいは「ロストテクノロジー」として、封をしたパターンとなっていないでしょうか？ 動作やプロセス、構造について、当初は妥当であったのに、最終的に悪い結果が繰り返されるパターンであり、リファクタリングするための方法が存在するパターンこそがアンチパターンです。サービスアップデートされれば、いままで
Amazon Athenaの新しいフェデレーテッド・クエリによる複数データソースの検索 | Amazon Web Services
Amazon Web Services ブログ Amazon Athenaの新しいフェデレーテッド・クエリによる複数データソースの検索 現在、企業は構築するアプリケーションに最適にフィットした複数のデータストアを利用しています。例えば、ソーシャルネットワークアプリケーションを構築するような場合は、リレーショナルデータベースよりは Amazon Neptune のようなグラフデータベースの方が多くのケースで最適です。同様に頻繁な反復処理(fast iterations)のために柔軟なスキーマが求められるワークロードには、 Amazon DocumentDB (with MongoDB compatibility) がより適しているでしょう。Amazon.com のCTO/VPである Werner Vogels が述べているように、「複数の明確に異なる要件を満たすことが出来る単一のデータベース
AWS Lake Formation（安全なデータレイクを数日で構築）| AWS
データアクセスの管理とスケーリングは複雑で時間がかかります。Lake Formation が、きめ細かいデータアクセス権限を一元的に管理およびスケールし、組織内外で自信を持ってデータを共有するのにどのように役立つかをご覧ください。
データレイクと分析 - ユースケース別クラウドソリューション | AWS
AWS は、あらゆるデータ分析のニーズに適合する包括的な分析サービスを提供し、あらゆる規模や業種の組織がデータを活用してビジネスを改革することを可能にします。ストレージと管理、データガバナンス、アクション、エクスペリエンスなど、AWS は最高のコストパフォーマンス、スケーラビリティ、最低コストを実現する目的に合わせたサービスを提供します。 データベース、ログストリーム、アプリケーション、マーケットプレイス、データレイク、ウェアハウスのどこにあっても、AWS、オンプレミス、その他のクラウドのすべてのデータにスムーズかつほぼリアルタイムでアクセスできます。AWS では、データベース、ストリームとログ、データウェアハウスまたはデータレイク、アプリケーション、データマーケットプレイスなど、データを管理するための最も包括的なサービスセットを提供しています。 コンプライアンス義務を果たすために、信頼で
Amazon AthenaでETLした結果をRedshiftにロードしてみる | DevelopersIO
先日の Black Beltオンラインセミナー「Amazon Athena」で、Athenaの想定ユースケースとして「開発者が、大規模でない生データに対して、低頻度でETL処理をする」という話を聞き、実際に Athena で ETL して Redshift にロードしてみることにしました。 サンプルデータ サンプルデータは下記データをダウンロードし、対象シートを[Orders]のみをS3ファイルに保存して、Athenaで orders_jp テーブルとして定義したものを利用します。 Superstoreサンプルデータ（不具合修正版） |Tableau Community シナリオ 日本国内の売上情報が含まれるデータファイルがS3上に存在する。データファイルから製品カテゴリ〜製品毎の売上と利益率のデータマートを作成して、BIツールから参照できるようにこのデータマートをRedshiftにロード
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門: 上原誠, 志村誠, 下佐粉昭, 関山宜孝: 本
