Oracle SQL 変換ガイド | BigQuery | Google Cloudデジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。
データ基盤チーム0人で運用は回るのか？！ 前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ
技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0
【速報】Amazon Redshift 新型『RA3』に1/12のスケールのra3.xlplus インスタンスが追加になりました！ #reinvent | DevelopersIO
昨年のre:Invent2019で発表されたRA3インスタンスに1/12のスケールのra3.xlplusインスタンス追加されました。ra3.xlplusは、既存のインスタンスからRA3インスタンスへの移行がの選択肢が広がります。 RA3 インスタンスに小さなタイプが加わりました！お客様から多くリクエストをいただいていました。 Amazon Redshift launches RA3.xlplus nodes with managed storage https://t.co/jep7vWUVAZ — Junpei Ozono (@jostandard) December 9, 2020 ra3.xlplus インスタンスとは RA3ノードタイプはAWS Nitroシステムと階層ストレージ採用した新インスタンスで、最新のホットデータを高性能SSDストレージにキャッシュし、参照頻度の低いコール
SnowflakeとRedshiftの比較検証
300コア近くのRedshiftクラスタを運用している広告配信プロダクトでSnowflakeを検証した結果をご紹介します。
Redshift to BigQuery migration for gaming app | Google Cloud Blog
Discord's migration from Redshift to BigQuery: lessons learned Editor’s note: We’re hearing today from Discord, maker of a popular voice, video, and text chat app for gaming. They have to bring a great experience to millions of customers concurrently, and keep up with demand. Here’s how they moved from Redshift to Google Cloud’s BigQuery to support their growth. At Discord, our chat app supports m
最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログ
こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照してください。 今まで、ログは数時間に1度、定期実行ジョブで Redshift 内のテーブルにロードしていました。 ロードジョブの実行間隔が "数時間" と長めなのは、Redshift のトランザクションのコミットが遅いためです。 クックパッドでは数百ものログテーブルがあるため、仮に1分おきにすべてを取り込もうとすると秒間数回以上のコミットを行わなければなりません。 このような頻繁なコミットは Redshift 全体のパフォーマンスを悪化させてしまいます
Amazon Analytics Hands On Lab
Amazon Analytics Hands On Labs Welcome to the Amazon Analytics hands on lab. This lab is divided into several modules and each module into several parts to help you get familiar with Amazon analytics services. We will be using different public datasets to demonstrate how to create tables from the data, query and visualize them using services such as Amazon Athena, Amazon Redshift and Redshift Spec
Improving Amazon Redshift Performance: Our Data Warehouse Story
Credit: pixabay.comIt is challenging to manage an optimized Amazon Redshift cluster. Scaling the cluster to meet your growing storage and computation needs while maintaining optimized performance is a downright daunting task. Bad queries, poor distribution style and sort key selections, stale statistics and row cruft, insufficient resources, and concurrency and queue configuration issues all affec
[速報]待望の新機能”Amazon Redshift concurrency scaling”が発表されました！ #reinvent ｜ DevelopersIO
はじめに 日本時間2018年11月30日、夜中1:30〜3:30のスケジュールで、AWS re:Invent 2018のKeynote 2日目が実施されています。 【速報】AWS re:Invent 2018 Keynote 2日目で発表された新サービスまとめ #reinvent その中で、Amazon Redshiftの新機能"Amazon Redshift concurrency scaling"が発表されました！ Amazon Redshift concurrency scalingとは？ concurrency scaling、直訳すると、「同時実行スケーリング」です。何千もの同時ユーザーとクエリがあっても一貫して高速のクエリパフォーマンスを提供する新しい機能です。 「クエリのワークロードをサポートするために、必要に応じて容量を自動的に増減させる」とのことです。 Redshftを使
![[速報]待望の新機能”Amazon Redshift concurrency scaling”が発表されました！ #reinvent ｜ DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/69d5e5df38c6d27d133baa3f894a2379a68db070/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_reinvent-2018-city_1200x630.jpeg)
Amazon Redshift の 可用性と耐久性について | DevelopersIO
はじめに 先日お客様よりRedshiftの構成や可用性、耐久性、データの復元などのご質問をいただきましたので 想定される障害についてどのような復旧対応が行われるのかまとめました。 引用はAmazon Redshift のよくある質問の 可用性と耐久性 から引用しています。 ドライブ障害 Q: 1 つのノードのドライブに障害が発生した場合、データウェアハウスクラスターの可用性とデータ耐久性はどうなりますか? Amazon Redshift データウェアハウスクラスターはドライブに障害が発生した場合でも継続して利用できますが、特定のクエリに対するパフォーマンスがわずかに低下します。ドライブに障害が発生すると、ノード内の他のドライブに格納されている障害ドライブのデータの複製が、透過的に使用されます。さらに、データを正常なドライブに移動させるか、移動できない場合はノードの交換が行われます。 単一ノ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS re:Invent 2019: [REPEAT 2] How to scale data analytics with Amazon Redshift (ANT335-R2)
How we migrated our data warehouse from Redshift to BigQuery
AWS Support and Customer Service Contact Info | Amazon Web Services
Amazon Redshift introduces RA3 nodes with managed storage enabling independent compute and storage scaling
https://gist.github.com/a1988ffca4fc08407e8c9b0e6deb82d6
Run Amazon payments analytics with 750 TB of data on Amazon Redshift | Amazon Web Services
https://github.com/awslabs/amazon-redshift-utils/tree/master/src/AnalyzeVacuumUtility
spectrify
COPY
GitHub - liquibase/liquibase-redshift: Liquibase support for Redshift