データ基盤チーム0人で運用は回るのか？！ 前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ
技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0
Best Practices for Amazon Redshift Spectrum | Amazon Web Services
AWS Big Data Blog Best Practices for Amazon Redshift Spectrum November 2022: This post was reviewed and updated for accuracy. Amazon Redshift Spectrum enables you to run Amazon Redshift SQL queries on data that is stored in Amazon Simple Storage Service (Amazon S3). With Amazon Redshift Spectrum, you can extend the analytic power of Amazon Redshift beyond the data that is stored natively in Amazon
Redshift to BigQuery migration for gaming app | Google Cloud Blog
Discord's migration from Redshift to BigQuery: lessons learned Editor’s note: We’re hearing today from Discord, maker of a popular voice, video, and text chat app for gaming. They have to bring a great experience to millions of customers concurrently, and keep up with demand. Here’s how they moved from Redshift to Google Cloud’s BigQuery to support their growth. At Discord, our chat app supports m
Amazon Redshiftの仕様を調べてみた | フューチャー技術ブログ
クラウド環境におけるDWHの選択肢として、Redshiftはもはや珍しいものではなくなりましたが、弊社内の採用実績はそれほど多くはありませんでした。 本記事は元々そのような社内向けに、Redshiftの基本的な仕様をなるべく網羅的に理解できるようまとめたものです。 筆者について新卒でフューチャーに入社し、今年で8年目になります。 入社後は一貫して技術畑、オンプレミスのインフラに始まり、直近ではアプリケーションまで含めたプロジェクトの技術統括を担当しています。 私もかつては社内有数のAWSエンジニアを自負していましたが、最近は別の仕事のため少し遠ざかっており、クラウドの世界は日進月歩なこともあり知識をアップデートする必要を感じています。 ※この記事の準備中にもElastic Resizeがリリースされました。 本記事は私のリハビリも兼ね、ドキュメントのまとめだけでなく、実際に手を動かして振る
Amazon Redshift でディスク使用率が高くなるか、いっぱいになる問題のトラブルシューティング
解決方法 ディスク使用率が高いエラーは、次のような要因によって変わります。 分散キーとソートキー クエリ処理 VARCHAR (MAX) 列を含むテーブル 列の高圧縮 メンテナンスオペレーション クロス結合を持つデカルト積 最小テーブルサイズ 廃棄ブロック 大きなファイルのコピー 分散キーとソートキー テーブルの分散スタイル、分散キー、ソートキーの選択を確認します。分散スキューのあるテーブル (あるノードに他のノードよりも多くのデータがある) があると、ディスクノードがいっぱいになる可能性があります。スキュー分散スタイルを持つテーブルがある場合は、より均一な分散に分散スタイルを変更します。分散と行スキューは、クエリの実行中に、ストレージスキューと中間行セットに影響を及ぼす可能性があることに注意してください。分散キーとソートキーの詳細については、「Amazon Redshift engine
ETL and ELT design patterns for lake house architecture using Amazon Redshift: Part 1 | Amazon Web Services
AWS Big Data Blog ETL and ELT design patterns for lake house architecture using Amazon Redshift: Part 1 New: Read Amazon Redshift continues its price-performance leadership to learn what analytic workload trends we’re seeing from Amazon Redshift customers, new capabilities we have launched to improve Redshift’s price-performance, and the results from the latest benchmarks. Part 1 of this multi-pos
Amazon Redshift introduces Automatic Table Sort, an automated alternative to Vacuum Sort
Amazon Redshift now provides an efficient and automated way to maintain sort order of the data in Redshift tables to continuously optimize query performance. The new automatic table sort capability offers simplified maintenance and ease of use without compromising performance and access to Redshift tables. Automatic table sort complements Automatic Vacuum Delete and Automatic Analyze and together
Amazon Redshift 新しい圧縮エンコーディング『AZ64』とLZO、ZSTDの徹底比較 | DevelopersIO
Amazon Redshift 新しい圧縮エンコーディング『AZ64』とLZO、ZSTDの徹底比較 これまでは主に高速なLZO、高圧縮なZSTDの2つ圧縮エンコーディングをノードタイプやワークロードに応じて選択していましたが、新たに追加されたAZ64は高速と高圧縮な特性を兼ね備えています。今回は新たに追加されたAZ64について検証したいと思います。 Amazon Redshift が最適化されたストレージと高クエリパフォーマンス向けの新しい圧縮エンコーディングである AZ64 をリリース 以下、本文の抜粋です。 高い圧縮率と改善されたクエリパフォーマンスの達成を目的として設計された独自の圧縮エンコーディングである AZ64 が利用可能になりました。革新的な AZ64 アルゴリズムは、データ値の小さなグループを効率的に圧縮し、SIMD 命令を活用してデータを並列処理します。このエンコード
Redshiftにおけるロックの概念 - goodbyegangsterのブログ
Redshiftにおけるロックの考え方について、まとめておきます。以下は参考となるAWSナレッジのサイトです。 Amazon Redshift でのクエリのブロックを防ぐ方法 Redshiftの分離レベル まず、Redshiftの分離レベルは、 SERIALIZABLE となっています。基本的な４つの分離レベルの中で、最も強い分離レベルですね。以下はおさらい。 許容する現象 SERIALIZABLE REPEATABLE READ READ COMMITTED READ UNCOMMITTED ファントムリード ☓ ○ ○ ○ 非再現リード ☓ ☓ ○ ○ ダーティ・リード ☓ ☓ ☓ ○ 現象について。 ファントムリード 並列動作したトランザクションのInsertやDeleteの値を読んじゃう 非再現リード 並列動作したトランザクションのUpdateの値を読んじゃう ダーティ・リード 未
Amazon Redshift to BigQuery migration: Overview | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Amazon Redshift to BigQuery migration: Overview This document provides guidance on migrating from Amazon Redshift to BigQuery, focusing on the following topics: Strategies for migration Best practices for query optimization and data modeling Troubleshooting tips User adoption guidance The objective
Why did Airbnb switch from Amazon Redshift to Presto for their analytics stack?
36 people want answers to this question. Be the first to answer.
ソーシャルゲームの運用に欠かせないデータ分析基盤の作り方 – てっくぼっと！
はじめに初めまして、バックエンドエンジニアの伊藤皓程です。2015年にサイバーエージェントに入社してからソーシャルゲーム2本、その後アドテクで広告配信システムの開発に携わりました。
Amazon Redshift 統計情報を自動更新する『Auto Analyze』の動きを確認してみました | DevelopersIO
はじめに Auto Analyzeは統計情報の更新（ANALYZE）がバックグラウンドで自動実行するサービスです。本日は実際の動作を確認してみました。 Auto Analyzeとは Amazon Redshiftは、テーブル内で、どのような値が、どのような頻度で出現するのかの情報である「統計情報」を事前に取得しておき、この情報を基に効率的にレコード操作を行う計画「実行計画」を立てて実行します。つまり最適なパフォーマンスを得るには、正確な「統計情報」が必要となります。 これまでテーブルのデータは日々更新に応じて、ANALYZEコマンドを実行する必要がありましたが、これをバックグラウンドで自動実行する機能が、『Auto Analyze』です。この機能は、クエリの負荷に基づいてスケジュール実行されるため、アドホッククエリやバッチクエリの妨げにならないので安心してご利用いただけます。 参考：テーブ
Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 | Amazon Web Services
Amazon Web Services ブログ Amazon Redshiftを使用した高性能ETL処理のベストプラクティス Top 8 ETL（Extract、Transform、Load）プロセスを使用すると、ソース・システムからデータ・ウェアハウスにデータをロードできます。 これは、通常、バッチまたはほぼリアルタイムのインジェスト（挿入）プロセスとして実行され、データウェアハウスを最新の状態に保ち、エンドユーザーに最新の分析データを提供します。 Amazon Redshiftは、高速でペタバイト規模のデータウェアハウスであり、データ駆動型の意思決定を簡単に行うことができます。 Amazon Redshiftを使用すると、標準的なSQLを使用して、費用対効果の高い方法で大きなデータを洞察することができます。 StarおよびSnowflakeスキーマから、分析クエリを実行するための単純化
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
Tuning query performance - Amazon Redshift
Amazon Redshift uses queries based on structured query language (SQL) to interact with data and objects in the system. Data manipulation language (DML) is the subset of SQL that you use to view, add, change, and delete data. Data definition language (DDL) is the subset of SQL that you use to add, change, and delete database objects such as tables and views. Once your system is set up, you typicall
Amazon Redshift DB開発者ガイド – クエリパフォーマンスチューニング(1).実行計画の分析 | DevelopersIO
Amazon Redshift DB開発者ガイド – クエリパフォーマンスチューニング(1).実行計画の分析 勢い余ってしまい本日3本目のエントリ投下となってしまいましたw Amazon Redshift DB開発者ガイド、当エントリはデータのロード処理から離れて『実行計画の分析』というテーマについて。掘り下げて行きます。 目次 実行計画の分析 シンプルなEXPLAINの実行例 EXPLAINオペレータ Joinの例 システムビューに対してクエリプランをマッピング 実行計画の分析 プロセスに異常に長い時間が掛かる場合は、実行計画を調べる事によってその性能を向上出来る機会を発見する事が出来るかも知れません。このセクションでは、Amazon Redshiftのクエリを最適化する機会を見つける為に、どのように実行計画を表示し、利用していくかについて説明します。 実行計画を作成するには、以下例のよ
Quickly Filter Data in Amazon Redshift Using Interleaved Sorting | Amazon Web Services
AWS News Blog Quickly Filter Data in Amazon Redshift Using Interleaved Sorting My colleague Tina Adams sent a guest post to introduce another cool and powerful feature for Amazon Redshift. — Jeff; Amazon Redshift, our fully managed data warehouse service, makes it fast and easy to analyze all your data. You can get started with a 160GB cluster for free for 2 months, and scale to a couple of petaby
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
15 Examples of Data Pipelines Built with Amazon Redshift
Redshiftの位置付けと運用のヒント 日経電子版での事例 （AWS Redshift 祭り）