[AWS]猫でもわかった気になるRedshift Serverless(更新系限定) 追加情報 - Qiita
はじめに 記事内容について NTTテクノクロス株式会社のメガクラチームに所属している加藤です。AWS関連の業務をしています。 この記事は私が2024年8月JAWS-UG朝会 #60 セッション枠において発表した「[更新系限定]猫でもわかった気になるRedshift Serverless」おいて時間の関係で省略した内容について補足する記事になります。 目次 JAWS-UG 朝会 #60 セッション枠発表資料の抜粋＋簡単な説明 セッション枠発表から漏れた内容(本記事の主たる内容) Redshift Serverlessスナップショットの別リージョンコピーについて Redshift Serverless DR環境構築について 記事の元ネタ 本情報は、私が2023年11月から2024年3月まで担当したプロジェクトで得たRedshift Serverlessの更新系処理に限定したノウハウをまとめたも
![[AWS]猫でもわかった気になるRedshift Serverless(更新系限定) 追加情報 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b972c6d3967d59fa925c250d49c3ddac91697515/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRmxoMy5nb29nbGV1c2VyY29udGVudC5jb20lMkZhLSUyRkFPaDE0R2ptRy1YMUpjcllhaXpnVGw5dWoxRExnS1JuRTEwUUoycTI3TFUwU1ElM0RzNTA_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9MDk5MGFjNzMyODc1YzFlYTAzMjUzYjRiNDUxYWRjOTg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D97454c6696dea27dd6f72575bb7801a2%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCQVdTJTVEJUU3JThDJUFCJUUzJTgxJUE3JUUzJTgyJTgyJUUzJTgyJThGJUUzJTgxJThCJUUzJTgxJUEzJUUzJTgxJTlGJUU2JUIwJTk3JUUzJTgxJUFCJUUzJTgxJUFBJUUzJTgyJThCUmVkc2hpZnQlMjBTZXJ2ZXJsZXNzJTI4JUU2JTlCJUI0JUU2JTk2JUIwJUU3JUIzJUJCJUU5JTk5JTkwJUU1JUFFJTlBJTI5JTIwJUU4JUJGJUJEJUU1JThBJUEwJUU2JTgzJTg1JUU1JUEwJUIxJTIwJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YTRlMDc1N2FjNDIzMmY2ZWQ4NmE0OWNiZGFhZmM4NWQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBrYW1vZ2FzaGlyYSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTQxYjk0OWM4NDM2YjkyMTAzMmY3YjdjMTI0ZGU0NzEx%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D4750f183c1d80214a45e85c4d2f8ffc5)
dbtでRedshiftのCOPY JOB (S3 auto copy) を管理したい。 - KAYAC Engineers' Blog
この記事はdbt Advent Calendar 2024および、Kayac Group Advent Calender 2024の4日目の記事になります。 こんにちは、その他事業部SREチーム所属の@mashiikeです。 背景 2024/10/30にAWS からAmazon Redshiftの素晴らしいUpdateが発表されました。 aws.amazon.com 自動コピーを使用して Amazon S3 から Amazon Redshift へのデータ取り込みです。 Redshift では、COPY コマンドを使用してデータを Amazon S3 から 効率的にデータをロードできますが、 このUpdateが来るまでは継続的な取り込みは Amazon Data Firehose を使用する方法が一般的でした。 しかし、カヤックでは「Firehoseの取り込みはメンテナンス時に一時停止でき
Amazon Redshift SYSビューによる実行クエリの取得 | DevelopersIO
AWS事業本部コンサルティング部の石川です。Amzon Redshift Serverless は、従来のSTLテーブルやSVLビューに代わりSYSビューが導入されました。SYSビュー導入の背景、Serverless と Provisioned の両方で利用できるクエリログを取得する方法をご紹介します。 SYSビューへの移行の理由 Amazon Redshiftが従来のSTLテーブルやSVLビューに代わってSYSビューを導入した背景は以下のとおりです。 モニタリングの簡素化 SYSビューは、Redshift Provisioned と Redshift Serverless の両方で、クエリとワークロードのリソース使用状況を監視するために使用できるようにするため、再設計されました。 整合性の向上 従来のシステムテーブルは整合性モデルが通常のテーブルと異なっていましたが、SYSビューではこの
Amazon Redshift data ingestion options | Amazon Web Services
AWS Big Data Blog Amazon Redshift data ingestion options Amazon Redshift, a warehousing service, offers a variety of options for ingesting data from diverse sources into its high-performance, scalable environment. Whether your data resides in operational databases, data lakes, on-premises systems, Amazon Elastic Compute Cloud (Amazon EC2), or other AWS services, Amazon Redshift provides multiple i
Configure monitoring, limits, and alarms in Amazon Redshift Serverless to keep costs predictable | Amazon Web Services
AWS Big Data Blog Configure monitoring, limits, and alarms in Amazon Redshift Serverless to keep costs predictable Amazon Redshift Serverless makes it simple to run and scale analytics in seconds. It automatically provisions and intelligently scales data warehouse compute capacity to deliver fast performance, and you pay only for what you use. Just load your data and start querying right away in t
Amazon Redshift + dbt ユーザー必読の書「Best Practices for Leveraging Amazon Redshift and dbt」を読んでみた | DevelopersIO
Amazon Redshift + dbt ユーザー必読の書「Best Practices for Leveraging Amazon Redshift and dbt」を読んでみた データアナリティクス事業本部のコンサルティングチームの石川です。今日は、AWSが執筆した Amazon Redshiftとdbtを活用するためのベストプラクティスをまとめたホワイトペーパーを紹介します。 Best Practices for Leveraging Amazon Redshift and dbt™ リンクから誰でもダウンロードできます。 Redshift + dbtを導入しているけれど、果たしてこれが正しい使い方なのかモヤモヤしている方は少なくないと想像してます。筆者もその一人ですが、そのような方々の道標になれば幸いです。 目次 Abstract Introduction Amazon Reds
非同期の Amazon Redshift Data API を Amazon EventBridge で上手に取り扱う - Qiita
Amazon Redshift Data API は SQL を簡単に実行することができる非同期APIです。 非同期なので、SQL が完了するまで待たずにレスポンスを返却します。 APIリクエストが完了したかどうか繰り返しポーリングするような仕組みが必要かな？と思いましたが、必要なさそうでした。 WithEvent パラメータに True を指定すれば Amazon EventBridge にイベントを送信することができます。 Amazon EventBridge でルールを設定しておけば、完了イベントを拾って後続処理に繋げることもできそうです。 Amazon EventBridge が対応している他のサービスとも連携しやすいですね。 非同期 API なので AWS Lambda 上で実行する場合には、実行時間を極小化することができ、コスト最適化にもつながりそうです。 長時間実行 SQL
【レポート】Amazon Redshift クエリパフォーマンスチューニング Deep Dive(AWS-36) #AWSSummit | DevelopersIO
【レポート】Amazon Redshift クエリパフォーマンスチューニング Deep Dive(AWS-36) #AWSSummit どーも、データアナリティクス事業本部コンサルティングチームのsutoです。 この記事は、5月26日に行われた AWS Summit Tokyo（2023）のセッション『Amazon Redshift クエリパフォーマンスチューニング Deep Dive(AWS-36) 』のセッションレポートとなります。 セッション概要 経験や勘に頼らず、Amazon Redshift のクエリのボトルネックをシステマチックに分析してチューニングする実践的な手法を紹介します。マネジメントコンソールやシステムテーブル・ビューから時間ベースでボトルネックを特定して、チューニングを行う手法を理論と実践の両面から実例を交えて紹介します。 スピーカー アマゾン ウェブ サービス ジャ
RedshiftからAIサービスにアクセスするSUPERな方法 - KAYAC engineers' blog
こちらはAWS Analytics Advent Calendar 2021の1日目のエントリーです。 こんにちは！今年からアナリティクスエンジニア（自称）を名乗ろうと思っている@mashiikeです。 Amazon Web Serviceには様々な分析向けのサービスがありますが、個人的に愛してやまないサービスとしてAmazon Redshiftというクラウドデータウェアサービスがあります。 この記事では、Redshiftの機能として連携方法が提供されていない他のAWSサービス、特にAmazon ComprehendやAmazon RekognitionなどのAIサービスにアクセスする方法についてお話します。 その方法を使うことで、SQL(もしくは、PartiQL)からAWSが提供する構築済みのモデルにアクセスできるようになり、少ない工数である程度のテキスト分析や画像分析が実現できます。
Redshiftのデータをサービス改善に役立てるデータ転送システム Queuery - クックパッド開発者ブログ
こんにちは、技術部データ基盤グループの佐藤です。この記事では最近業務として主に取り組んでいたDWHから外部へのデータ転送基盤であるQueuery（きゅうり）について、OSSとしてGitHubへの公開しましたのでこの記事でご紹介をします。 github.com Queueryというシステムは2017年の春頃にid:koba789の手により作られ、クックパッドのデータ基盤における重要な立ち位置を担っています。 背景 従来、RedshiftでSELECT文などの取得系クエリを実行するためにはRedshiftに直接接続してクエリを発行していました。この方法ではクエリ結果が巨大な場合にクライアント側のリソースを逼迫させることがありました。 しかし、それを避けるためにカーソルを使おうものなら今度はたちまちRedshiftのリーダーノードの具合が悪くなってしまいます。Redshiftから巨大な結果を得る
AWS Step Functions および AWS Glue を使用した Amazon Redshift ベースの ETL ワークフローのオーケストレーション | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions および AWS Glue を使用した Amazon Redshift ベースの ETL ワークフローのオーケストレーション Amazon Redshift は、ペタバイト規模の完全マネージド型クラウドデータウェアハウスサービスで、現在お使いのものと同じ SQL ベースのツールとビジネスインテリジェンスアプリケーションを使用した迅速なクエリパフォーマンスを提供します。お客様の多くは、既存の SQL ベースのスクリプトを素早く移行するために既存の SQL 開発者スキルセットを使用する ETL (抽出、変換、ロード) エンジンとして Amazon Redshift を利用しておられると共に、Amazon Redshift が完全に ACID 対応であることから、ソースデータシステムからの変更データを統合する
Redshift Users Group
Redshift Articles Introduction to Databases Introduction to Redshift Problems with Redshift Zone Map Compound Sortkey Interleaved Sortkey Materialization Strategy Join Types Queues and Slots Command Reference Known Issues Redshift Spectrum Articles Introduction to Redshift Spectrum Problems with Redshift Spectrum Contact admin at redshiftusersgroup dot org
連載：SQLのウィンドウ関数を利用した分析―セッションを利用したアクセスログの分析 | DATUM STUDIO株式会社
はじめに みなさん、こんにちは! DATUMSTUDIOの宇佐見です。 普段の業務ではデータアナリストとして、他の企業さまから依頼を受けてデータ分析のお手伝いや データ分析基盤の構築をさせていただいております。 SQLを利用した様々な分析に携わることが多いため、今回はそのノウハウを紹介できればと思います。 SQLのケーススタディ紹介 本記事では3回にわけてウィンドウ関数を利用したSQLのケーススタディを紹介いたします。実際のアクセスログを利用して、実践ですぐに活用できることをコンセプトとしています。前提知識としてSQLを利用した基礎的な集計を行えるレベルを想定しています。 第1回目は、「セッションを利用したアクセスログの分析」ということで前回アクセスから5分以内の再訪問ならば同一のセッションでの接続とみなし、そのセッションごとの集計を可能とするクエリを作成します。このクエリを利用することで
課題が山積みだったモンストのデータ分析は、ディメンショナル・モデリングでどう変わったのか？【デブサミ2018 夏】
世界累計利用者数4500万人を突破した大人気スマートフォンゲーム「モンスターストライク（以下、モンスト）」。本ゲームを提供しているのが株式会社ミクシィ XFLAG スタジオだ。かつて同社はデータ分析において大きな課題を抱えていた。その状態を解決すべく、データウェアハウスの設計手法 ディメンショナル・モデリングを導入したのだという。本セッションではXFLAG スタジオが取り組んだ分析基盤改善の軌跡を、データエンジニアの生島光氏が語った。 講演資料：データウェアハウスの設計手法『ディメンショナル・モデリング』のすすめ 株式会社ミクシィ XFLAG スタジオ モンスト事業本部 ゲーム運営部 解析グループ 解析チーム データエンジニア 生島光氏 データ分析の作業が、とにかく非効率的になっていた かつて、XFLAG スタジオではAmazon Redshift（AWSが提供するデータウェアハウスサービ
Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 | Amazon Web Services
Amazon Web Services ブログ Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 ETL（Extract、Transform、Load）プロセスを使用すると、ソース・システムからデータ・ウェアハウスにデータをロードできます。 これは、通常、バッチまたはほぼリアルタイムのインジェスト（挿入）プロセスとして実行され、データウェアハウスを最新の状態に保ち、エンドユーザーに最新の分析データを提供します。 Amazon Redshiftは、高速でペタバイト規模のデータウェアハウスであり、データ駆動型の意思決定を簡単に行うことができます。 Amazon Redshiftを使用すると、標準的なSQLを使用して、費用対効果の高い方法で大きなデータを洞察することができます。 StarおよびSnowflakeスキーマから、分析クエリを実行するための単純化
広告に関するなにか: RedshiftでAttribution分析の実装 - 工場長のブログ
職場の同僚のドッグさん（語尾は上げる）に「パイセン、Redshiftとか使ってイイカンジにAttribution分析するならどんなかんじなんすかね〜」って言われたので考えた。 Attribution分析とは 「あるコンバージョンに対して貢献のあった広告の表示やクリックなどの、要因分析」という感じだと思っている。例えば下記のような導線をたどった場合を考えてみる。 banner impression(1) banner impression(2) banner click paid_search impression paid_search click このときにconversionに対して貢献度を下記のように割り振るイメージ。割り振りは適当。適当なんだけど、この数値の精度をいかに上げていくのかというのが恐らく一番大事な話なんだと思う。 banner impression(1): 5% ban
Rin - Redshift data Importer by SQS messaging - のご紹介 - Qiita
この記事はOSS紹介 Advent Calendar 2017 の 1日目の記事です。 Rinとは fujiwara/Rin Rinは、簡単に言えばS3にアップロードしたログをRedshiftに自動で取り込むためのミドルウェアです。私は会社でfluentdと組み合わせて以下の構成図のような形で利用しています。 Rinが行っているのは実線で示している部分です。 log aggregatorと呼ばれるfluentdが起動しているインスタンスからfluent-plugin-s3でS3にアップロードします アップロードをトリガーにSQSにキューが入ります。それをlog aggregatorで起動しているRinが受信します RinはRedshiftでCOPYクエリを発行します COPYクエリを発行されたRedshiftはS3にアップロードされたログを取り込みます 解決される問題 S3にアップロードさ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Workshop Studio
Unlock the deadlock in Redshift
Amazon Redshift’s Hardware Upgrade Improves Query Speed by up to 5x