AWSが提唱するゼロETLとは何か？概念と登場の背景の推察 - NRIネットコムBlog
こんにちは、佐々木です。年末に書こうと思って、すっかり忘れていた宿題です。 2022年末のre:InventのキーノートでAWSのCEOであるAdam Selipskyが、『A Zero ETL future』という概念が提唱しました。言わんとすることは解るのですが、これは一体どういう文脈で、なんのためなのだろうと疑問に思う方は多いと思います。そこで、自分なりにデータ分析を取り巻く現状と課題、ゼロETLの概念が出てきた理由をまとめてみます。これは私自身の思考なので、全然違う可能性が高いですので、悪しからず。 データ分析とETLの現状と課題 ゼロETLの話をする前に、データ分析とETLの現状の話をしましょう。データ分析をする際には、必ずデータが必要です。では、そのデータはどこからやってくるのか？単一のシステム内で分析する場合もありますが、多くの場合はいろいろなシステムから必要なデータを集めて
Home - Learn | Hevo
Handling large volumes of business data is challenging. You can collect data from various sources using multiple techniques. This data can be thoroughly analyzed to gain valuable insights that optimize… ETL processes often involve aggregating data from various sources into a data warehouse or data lake. Bucketing can be used during the transformation phase to aggregate data into predefined buckets
[レポート]『事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術』を開催しました | DevelopersIO
[レポート]『事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術』を開催しました データアナリティクス事業本部 サービスソリューション部 サービス開発部のしんやです。 去る2022年03月11日(金)、『事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術』と第して、プレミアアンチエイジング様に御登壇頂く形でクラウドを活用したデータドリブンな組織づくりについて事例発表頂くセミナーを開催致しました。 【3/11（金）】事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術 | DevelopersIO このセミナーでは、プレミアアンチエイジング様によるDWH導入事例、及び導入に際して選定頂く形となった、クラスメソッドが提供するAWSなどのクラウドDWHを活用したデータ統合基盤サービス「カスタマーストーリーアナリティ
![[レポート]『事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術』を開催しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6de29832fb74d83eba15b9c8e4a666207f74d12b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F02%2F220311_csa_webinar.png)
DynamoDB から Redshift へデータ移送する話 （RedshiftのSUPER型の利用事例） - KAYAC engineers' blog
こんにちは。技術部のSRE所属の池田です。 この記事では、昨年の2020年12月にPreviewが発表されたRedshiftの汎用データ型 SUPER の利用事例として、DynamoDBからRedshiftへデータ移送する話をします。 汎用データ型SUPERは、2020/12/9に 『Amazon Redshift が、ネイティブ JSON と半構造化データ処理のサポートを発表 (プレビュー) 』という記事が公開され、2021年04月時点でもPreview状態です。 このSUPER型は、ログやDynamoDBストリームに見られるJSONおよび半構造化データと非常に相性がよく、使い始めてみると【素晴らしい！】と言う感想を得るので、皆様も是非使ってみてください。 背景 2021年4月現在では、Tonamel という大会プラットフォームサービスのデータ基盤 構築業務・整備を行っております。 To
【資料＆動画公開】AWSで実践！ビジネスを変革するデータ活用ソリューション | Amazon Web Services
Amazon Web Services ブログ 【資料＆動画公開】AWSで実践！ビジネスを変革するデータ活用ソリューション 2021年3月25日に「AWSで実践！ビジネスを変革するデータ活用ソリューション 」というイベントを実施しました。蓄積されたデータをこれから活用されようとお考えの方向けのセミナーで、特に「簡単に始めていただける」という点にフォーカスして、AWSのソリューションアーキテクトよりご説明しましたた。 今回このセミナーの資料や動画が公開になりましたので、以下で紹介します。 気軽にはじめるデータ可視化と機械学習による分析（講師：アマゾンウェブサービスジャパン株式会社 アナリティクス ソリューションアーキテクト 下佐粉 昭） 本セッションでは、可視化ソリューションにフォーカスし、可視化のメリットやそれを実現する課題を整理した後、Amaozon QuickSightによって、どのよ
Amazon Redshift 2020 year in review | Amazon Web Services
AWS Big Data Blog Amazon Redshift 2020 year in review Today, more data is created every hour than in an entire year just 20 years ago. Successful organizations are leveraging this data to deliver better service to their customers, improve their products, and run an efficient and effective business. As the importance of data and analytics continues to grow, the Amazon Redshift cloud data warehouse
分散キーとソートキー - Qiita
投稿のきっかけ 仕事でRedshiftを用いてデータベースを構築する必要があり、分散キーとソートキーという単語に引っかかった。 この記事は、自習用の備忘録として、そしてQiitaへの初投稿としてお試しで投稿してみる。 参考サイト Redshiftの設計前に知っておくべき分散キーとソートキーの役割 AWSデータベース開発者ガイド ノードスライス 本題の分散キー・ソートキーに入る前に、まずこの「ノードスライス」という単語は避けて通れないらしい。 ノードスライスとはなんぞや 定義は「ノード数×CPU数」らしい。 つまりは１つのノード内に多量のデータを詰め込んで、それを並列CPUで処理する。。。その各計算単位？？？ →多分あってる。 AWSのガイドの言葉を借りると、 「テーブルにデータをロードすると、そのテーブルの分散スタイルに従って、Amazon Redshift がテーブルの行を各ノードスライ
AWS再入門 Amazon Redshift編 | DevelopersIO
はじめに 当エントリはDevelopers.IOで弊社AWSチームによる2015年アドベントカレンダー 『AWS サービス別 再入門アドベントカレンダー 2015』の4日目のエントリです。 昨日3日目のエントリは清水の『Amazon CloudFront 』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日4日目のテーマは『Amazon Redshift』です。 Amazon Redshift（クラウドデータウェアハウスソリューション） | アマゾン ウェブ サービス（AWS 日本語） 目次 サービスの基本的な説明 高速且つフルマネージドなデータウェアハウス(DWH:Data Ware Hou
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
