Amazon Redshift の新機能 — Kinesis データストリームのストリーミングインジェスト、および Managed Streaming for Apache Kafka の一般提供について | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift の新機能 — Kinesis データストリームのストリーミングインジェスト、および Managed Streaming for Apache Kafka の一般提供について 10 年前、私が AWS に入社してからわずか数か月後に、Amazon Redshift はローンチされました。長年にわたり、パフォーマンスを向上させ、使いやすくするために多くの機能が追加されてきました。Amazon Redshift では、SQL を使用して、データウェアハウス、運用データベース、データレイクにわたって構造化データと半構造化データを分析できるようになりました。最近では、データウェアハウスインフラストラクチャを管理しなくても簡単に分析を実行およびスケーリングできるように、Amazon Redshift サーバーレスが一般公開
マテリアライズドビューへのストリーミング取り込み - Amazon Redshift
ストリーミング取り込みでは、Amazon Kinesis Data Streams や Amazon Managed Streaming for Apache Kafka から、Amazon Redshift でプロビジョニングされたビューや Amazon Redshift Serverless データベースへの、低レイテンシーかつ高速のデータインジェストを行います。データは、目的に合わせて設定された Redshift マテリアライズドビューに到達します。このため、外部データへのアクセスが高速化されます。ストリーミング取り込みは、データアクセス時間を短縮し、ストレージコストを削減します。ストリーミング取り込みは、SQL コマンドの小さなコレクションを使用して、Amazon Redshift クラスターまたは Amazon Redshift Serverless ワークグループ用に設定できま
マテリアライズドビューの更新 - Amazon Redshift
マテリアライズドビューを作成する際、そのコンテンツには、その時点での基となるデータベーステーブルまたはテーブルの状態が反映されます。基となるテーブルにあるデータが、アプリケーションにより変更されても、マテリアライズドビューのデータは変更されません。マテリアライズドビューのデータを更新する場合は、REFRESH MATERIALIZED VIEWステートメントを使用してマテリアライズドビューを手動で随時更新できます。このステートメントを使用する際は、Amazon Redshift は、ベーステーブルまたはテーブルで行われた変更を特定し、特定した変更をマテリアライズドビューに適用します。 Amazon Redshift には、マテリアライズドビューを更新するための 2 つの方法があります。 多くの場合、Amazon Redshift は、増分更新を実行します。増分更新では、Amazon Red
Amazon Redshift 2021 年振り返り - josql endpoint
こちらの記事は、AWS Analytics Advent Calendar 2021 の 20 日目のエントリーです。 2021 年も残り 10 日ほどとなってきましたが、みなさまいかがお過ごしですか？僕は週 2-3 程度、早朝にジョギングをしているのですが、最近グッと寒くなってきたので朝起きるのが辛くなってきました。。 さて、アドベントカレンダーに何を書こうかなと考えていたところ、ちょうど先週末の AWS Big Data Blog にて What’s new in Amazon Redshift – 2021, a year in review という記事が投稿されました。よいタイミングなので、この記事の内容を踏まえつつ、オリジナルコメントを多分に交えながら、2021 年の Amazon Redshift のアップデートについて振り返りたいと思います。 目次 目次 Amazon Red
自動マテリアライズドビュー - Amazon Redshift
マテリアライズドビューは、Amazon Redshift でのクエリのパフォーマンスを向上させるための強力なツールです。これは、事前に計算された結果セットを保存することによって実現されます。既存の結果セットからレコードを取得できるため、類似したクエリが、毎回同じロジックを再実行する必要はありません。デベロッパーとアナリストは、ワークロードを分析した後にマテリアライズドビューを作成します。これにより、どのクエリが利益をもたらすか、各マテリアライズドビューのメンテナンスにコストをかけるべきかどうかを判断します。ワークロードの増加や変化にともない、パフォーマンス上のメリットを引き続き明確に提供するためには、これらのマテリアライズドビューを見直す必要があります。 Redshift の自動マテリアライズドビュー (AutoMV) 機能では、ユーザーが作成したマテリアライズドビューと同様のパフォーマン
Amazon Redshift [新機能]マテリアライズドビューの徹底解説 | DevelopersIO
ユーザーの観点から見て、クエリの結果は、ソーステーブルから同じデータを取得に要する時間に比べて短時間で返ってきます。 マテリアライズドビューの基本操作 作成 マテリアライズドビューは、通常のビューと同じ様に作成可能です。追加のオブションについては後ほど解説します。 cmdb=> CREATE MATERIALIZED VIEW tickets_mv AS cmdb-> select catgroup, cmdb-> sum(qtysold) as sold cmdb-> from category c, event e, sales s cmdb-> where c.catid = e.catid cmdb-> and e.eventid = s.eventid cmdb-> group by catgroup; CREATE MATERIALIZED VIEW Time: 1128.05
![Amazon Redshift [新機能]マテリアライズドビューの徹底解説 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
BigQueryでマテリアライズドビューが提供開始、プレビューとして。複雑なクエリをより高速に実行可能
BigQueryでマテリアライズドビューが提供開始、プレビューとして。複雑なクエリをより高速に実行可能 Google Cloudのデータウエアハウス向けデータベースであるBigQueryに「マテリアライズドビュー」機能がプレリリース版として追加されました。 一般にリレーショナルデータベースにおける「ビュー」とは、仮想的なテーブルのようなものとされます。これによって、BIツールを使ってデータベースへ検索を実行する際などに、複雑なテーブル構成を隠蔽して分かりやすい構成のビューだけを見せたり、特定のユーザーにアクセスを許すビューだけを見せる、といったことが可能になります。 通常のビューは仮想的な存在であり実体を持たないため、ビューに対するクエリは実際にはビューを構成するテーブルに対するクエリに分解され、実行され、結果が返されます。 一方、マテリアライズドビューはテーブルのように実体を持つビューと
Amazon Redshift マテリアライズドビューで ELT と BI クエリを高速化 | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift マテリアライズドビューで ELT と BI クエリを高速化 Amazon Redshift のマテリアライズドビュー機能は、Amazon QuickSight などのビジネスインテリジェンス (BI) ツールからのダッシュボードクエリといった反復または予測可能なワークロードで、大幅に高速なクエリパフォーマンスを実現するために役立ちます。これは、ETL (抽出、変換、ロード) データ処理も高速化およびシンプル化します。マテリアライズドビューは、頻繁に使用される事前計算を保存し、それらをシームレスに使用して後続の分析クエリでの低レイテンシーを達成するために利用できます。 この記事では、マテリアライズドビューを作成する、データ取り込み後にビューを更新する、および BI ワークロードを高速化する方法を説明します。
Amazon Redshift でのマテリアライズドビューの作成 - Amazon Redshift
データウェアハウスの環境でのアプリケーションでは、多く場合、大規模なテーブルに対し複雑なクエリを実行する必要が生じます。例えば SELECT ステートメントでは、数百万の行を含むテーブルにおいて、複数の テーブルの結合や集計が行われます。このようなクエリの処理は、システムリソース、そして結果を返すためにかかる時間の点から、コストが高くなる可能性があります。 Amazon Redshift のマテリアライズドビューを使用することで、こうした課題に対処できます。マテリアライズドビューには、1 つ以上のベーステーブルで実行された SQL クエリに基づいて事前計算された結果が含まれています。SELECT ステートメントを使用すれば、データベースで他のテーブルやビューをクエリするのと同じ方法でマテリアライズドビューをクエリすることができます。Amazon Redshift は、ベーステーブルに一切ア
Amazon Redshiftがマテリアライズドビューの正式サポート開始。頻繁に実行されるクエリなどがより高速に
Amazon Redshiftがマテリアライズドビューの正式サポート開始。頻繁に実行されるクエリなどがより高速に Amazon Web Services（AWS）が提供しているデータウェアハウス向けデータベースのAmazon Redshiftで、新機能としてマテリアライズドビューの正式サポートが発表されました。 New #AWSLaunches! AWS Resource Access Manager is Now Available in the Middle East (Bahrain) Region Amazon Redshift introduces support for materialized views (Generally Available)https://t.co/lB0bBYdvnl pic.twitter.com/JRVhK3ekRc — Amazon Web S
3分でわかるマテリアライズド・ビュー -使い所と問題点を考える- - Qiita
想定読者 マテリアライズド・ビューという言葉を聞いたことはあるがその意味や仕組みを知らない方 集計処理を実現する一つの手段としてマテリアライズド・ビューを検討している方 マテリアライズド・ビューの実装にあたり必要な知識・注意点を把握したい方 前提 以降の記載は以下のDBMSの使用を前提としています。 Oracle Database 10g, 11g, 12c 集計処理という敵とマテリアライズド・ビューという武器 システム開発を進める中で、何らかの集計処理が必要になることが多々あると思います。 例えば、売上高の集計処理（地域ごと・店舗ごと・期間ごとなど）や、特定の条件を満たす顧客の集計処理（商品名◯×を購入した顧客の合計数など）などです。 SQLで集計処理を実装すればよいのですが、実際に実装してみると以下のような問題が生じることがあります。 集計処理が遅い（複数テーブルの結合などに起因する処
マテリアライズドビュー - Wikipedia
データベース管理システムは関係モデルに従うため、ビュー は仮想的な テーブル であり、データベースに対するクエリの結果を表す。ビューを参照または更新すると、その処理はビューの対象となった実際のテーブルへの参照または更新へ変換され、実行される。 マテリアライズドビュー (Materialized View; 体現ビューともいう)はこれとは異なるアプローチを取り、クエリの結果を実際のテーブルにキャッシュする。キャッシュされたデータは元のテーブルが変更されるたびに更新される。そのため、最新でない状態を取得する可能性はあるが、効率的なアクセスが可能になる。特にデータウェアハウスでは実際のテーブルに対して頻繁にクエリを実行することは非常にコストが高いため、マテリアライズドビューが有効である。 さらに、マテリアライズドビューは実際のテーブルとして実体化されるため、実際のテーブルに対して適用可能な操作は
「もうMATERIALIZED VIEWの挙動でやきもきしない」 9.4での設定・運用の改善
「もうMATERIALIZED VIEWの挙動でやきもきしない」 9.4での設定・運用の改善：PostgreSQLガイダンス（2）（1/4 ページ） PostgreSQL 9.4の新機能のうち、postgresql.auto.confを使った設定変更の方法や、pg_prewarm、 MATERIALIZED VIEWのCONCURRENTLYオプションなど、主にPostgreSQL環境を運用する際に関係する改善点を中心に紹介します。 連載バックナンバー 本稿では、間もなくリリースが予定されているPostgreSQL 9.4beta2を基に、新機能をレビューしています。 実は、PostgreSQL 9.4のリリースが例年のメジャーバージョンリリースと比べてちょっと遅れています。2014年5月に9.4 beta1がリリースされ、7月にbeta2が出たのですから、例年であれば9月にはrc版をリリ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
