PowerPoint Presentation
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. 仲谷 岳志 シニアインフラストラクチャーアーキテクト プロフェッショナルサービス本部 アマゾンウェブサービスジャパン株式会社 2-H1-3-14 Amazon Redshift の設計・運用大原則 © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. 仲谷 岳志（Takeshi Nakatani） Senior Infrastructure Architect, AWS Professional Services 略歴 • エンタープライズ分野で20年の業界経験 • ここ10年ほどはインフラアーキテクトとして設計～リリース支援に従事 • 直近ではAma
最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログ
こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照してください。 今まで、ログは数時間に1度、定期実行ジョブで Redshift 内のテーブルにロードしていました。 ロードジョブの実行間隔が "数時間" と長めなのは、Redshift のトランザクションのコミットが遅いためです。 クックパッドでは数百ものログテーブルがあるため、仮に1分おきにすべてを取り込もうとすると秒間数回以上のコミットを行わなければなりません。 このような頻繁なコミットは Redshift 全体のパフォーマンスを悪化させてしまいます
Amazon Redshift 新機能：『Elastic Resize』で短時間でのノード数変更(リサイズ)が可能になりました | DevelopersIO
日本時間の2018年11月16日、下記ツイートにありますようにAmazon Redshiftにて『Elastic Resize』なる機能・仕組みが新たに導入されました。 Today's #AWSLaunches! 3/5 ⭐ AWS Cost & Usage Reports add Athena integration, Apache Parquet Output & Report Overwrite ⭐ Amazon Redshift announces Elastic resize, so you can add & remove nodes in minuteshttps://t.co/r8ekyCt1bR pic.twitter.com/6469grjiY4 — Amazon Web Services (@awscloud) 2018年11月16日 Amazon Redshift
課題が山積みだったモンストのデータ分析は、ディメンショナル・モデリングでどう変わったのか？【デブサミ2018 夏】
世界累計利用者数4500万人を突破した大人気スマートフォンゲーム「モンスターストライク（以下、モンスト）」。本ゲームを提供しているのが株式会社ミクシィ XFLAG スタジオだ。かつて同社はデータ分析において大きな課題を抱えていた。その状態を解決すべく、データウェアハウスの設計手法 ディメンショナル・モデリングを導入したのだという。本セッションではXFLAG スタジオが取り組んだ分析基盤改善の軌跡を、データエンジニアの生島光氏が語った。 講演資料：データウェアハウスの設計手法『ディメンショナル・モデリング』のすすめ 株式会社ミクシィ XFLAG スタジオ モンスト事業本部 ゲーム運営部 解析グループ 解析チーム データエンジニア 生島光氏 データ分析の作業が、とにかく非効率的になっていた かつて、XFLAG スタジオではAmazon Redshift（AWSが提供するデータウェアハウスサービ
Amazon Redshift：列の別名参照値が同一クエリ内で宣言後すぐに使えるようになりました | DevelopersIO
小ネタです。 先日の公式アナウンスにて、Amazon Redshiftが「lateral column alias reference」(横列の別名参照)をサポートするようになりました。当エントリではその内容について紹介してみたいと思います。 Amazon Redshift announces support for lateral column alias reference SELECT List - Amazon Redshift Amazon Redshift now enables you to write queries that refer to a column alias within the same query immediately after it is declared, improving the readability of complex SQL quer
Redshift と上手に付き合うために心がけていること - Qiita
こんにちは。最近Redshiftと付き合う時間が増え、良い面も悪い面も少しずつわかってきました。忘れないようにまとめてみます。 Redshift周辺で気をつけていることと心がけていること COMMITは直列で処理 Redshift のクラスターはノードがいくつあろうとコミット処理は直列で処理されます。これは、WLM(Work Load Management)で同時実行可能クエリ数を増やそうと減らそうと変わりません。コミット処理だけは直列です。その結果、コミットキューにたまりクエリの処理時間がより待たされる可能性があります。 これは時々STL_QUERYというシステムログテーブルでわかるクエリ処理時間よりも、クライアント側で処理完了まで待たされる時間が長いことに疑問を感じて調べてわかることかもしれません。ちなみに、コミット待ちはSTL_COMMIT_STATSというシステムログテーブルを参照
Redshiftのストレージ容量のメンテナンス - Qiita
Amazon(AWS) Redshiftはとてつもなく強力ですが ストレージサイズが自由に選べないので、容量がなくなったときにはノードを追加するしかありません。 処理速度をあげたりする分にはノード追加はよいですが、 容量確保のためにはあまりバカスカ増やすのもいろいろ大変()・・ 運用したまま極力ストレージ使用量を増やさない手段はあまり無いですが （列の圧縮やRedshift SpectrumでテーブルをS3に移すなど、運用入ってるものには対応難しいですよね・・） 現状を知ることは重要ですし、そこから対策も打ちやすくなります。 今の状態をぱっとみるならCloudWatchがいいですね 常にメトリックスが送り続けられているので変化も含めてわかりやすいです。 AWS Webコンソール画面左上などからCloudWatchを選択 左メニューから「メトリクス」を選択 「すべてのメトリック」タブから「R
Amazon Redshift Interleaved Sortkey と VACUUM 実行のポイント | DevelopersIO
ディープコピーによるデータ投入では検索が遅い 以前にご紹介した 【新機能】Amazon Redshift の Interleaved Sorting機能を試してみた では、１の方法によって、データを投入して検索性能が向上することを確認しています。 一方、２の方法でデータを投入したところ検索性能が向上しませんでした。以下の通り、Sortkeyなしよりも Interleaved Sortkey を設定した方が検索結果が遅くなっています。 -- ディープコピーによるデータ投入（INSERT INTO ... SELECT） INSERT INTO lineorder_il SELECT * from lineorder; -- Sortkeyなし SELECT COUNT(*) FROM lineorder WHERE lo_orderdate = 19971025 and lo_custkey
ソートキー順序でデータをロードする - Amazon Redshift
COPY コマンドを使用してソートキー順序でデータをロードする場合、バキューム処理の必要性が減少するか、なくなることもあります。 COPY では、以下のすべてが該当する場合に、テーブルのソート済みリージョンに自動的に新しい行が追加されます。 テーブルでは、1 つのソート列のみで複合ソートキーが使用されます。 ソート列は NOT NULL です。 テーブルは 100% ソート済みであるか空です。 すべての新しい行は、既存の行 (削除対象としてマークされた行も含む) よりソート順が高くなっています。この場合、Amazon Redshift では、ソートキーの最初の 8 バイトを使用してソート順が決定されます。 例えば、顧客 ID と時刻を使用して顧客イベントを記録するテーブルがあるとします。顧客 ID でソートする場合は、前の例に示すとおり、差分ロードによって新たに追加された行のソートキー範囲
【AWS】Redshiftの分散キーとソートキー - TASK NOTES
Redshiftのパフォーマンスで重要になる分散キーとソートキーについてまとめました。 分散キー（DISTKEY） テーブルにデータをロードすると、そのテーブルの分散スタイルに従って、テーブルの行が各ノードスライスに分散されます。Redshift では1ノードの中で実際に処理を行うプロセスが複数動いており、このプロセスをノードスライスといいます。並列処理の単位はノードではなくノードスライス単位です。スライスの数は、次のようにノード上のプロセッサコアの数と同じになります。 均等分散 均等分散はデフォルトの分散スタイルです。リーダーノードは、特定の列の値に含まれている値にかかわらず、ラウンドロビン方式によって複数のスライス間で行を分散させます。例えば 8スライスのテーブルに 8行 insert した場合、各ノードスライスへ順番に 1行ずつ配布されます。均等分散は、テーブルが結合に関与していない
クックパッドのデータ活用基盤 - クックパッド開発者ブログ
インフラ部 & 技術部の青木峰郎です。 クックパッドでは全社的にAmazon Redshiftを中心としたデータ活用基盤を構築しています。 今日はその全体像についてお話ししたいと思います。 データ活用基盤の全体像 まず、以下にクックパッドのデータ活用基盤の全体像を示します。 大きく分けると入力が2系統、内部処理が1系統、出力が3系統あります。 入力はMySQLからのインポートとログのロードがあり、どちらも独自に構築したシステムで行われています。 DB内部のデータ処理はSQLバッチのみです。 そして出力は管理画面やBIツールからのアクセスとバッチ処理によるエクスポートに大別できます。 以下1つずつ説明していきましょう。 入力その1: MySQLインポートシステム MySQLからRedshiftへのマスターテーブル取り込みにも独自のインポートシステムを使っています。 このインポート処理には、つ
Tuning query performance - Amazon Redshift
Amazon Redshift uses queries based on structured query language (SQL) to interact with data and objects in the system. Data manipulation language (DML) is the subset of SQL that you use to view, add, change, and delete data. Data definition language (DDL) is the subset of SQL that you use to add, change, and delete database objects such as tables and views. Once your system is set up, you typicall
【開催報告】Amazon Redshift 事例祭り(DWHマイグレーション) | Amazon Web Services
Amazon Web Services ブログ 【開催報告】Amazon Redshift 事例祭り(DWHマイグレーション) 先日(5月10日)、「Amazon Analytics (Redshift) 事例祭り」というイベントが開催されました。オンプレミスDWHを利用していた、もしくは現在使用しているお客様がDWHをAWSクラウド上のAmazon Redshiftに移行した経験談を共有していただくという内容のセミナーで、定員の120名を越えるお申込をいただき、会場が満室になる熱気の中で実践的な情報が共有されました。 この記事ではそのイベントの内容をご紹介します。また、各社発表資料へのリンクも掲載しています。 AWS session – データウェアハウスのAmazon Redshiftへの移行ガイド アマゾンウェブサービスジャパン株式会社 ソリューションアーキテクト 下佐粉 昭から、デ
Amazon Redshift - Fundamentals
1 Introduction When I joined my current employer early 2014, I was handed over the ownership of a dashboarding and reporting solution. In the state the software was in, dashboards and reports alike would query the live transactional database directly. This approach was extremely simple and worked pretty well when there were only a handful of people using the system. Things started to go awry when
Amazon Redshift のベストプラクティス - Amazon Redshift
以下では、概念実証の計画、テーブルの設計、テーブルへのデータのロード、Amazon Redshif のクエリの書き込みのベストプラクティスと、Amazon Redshift Advisor の操作の説明を示します。 Amazon Redshift は、他の SQL データベースシステムとは異なります。Amazon Redshift アーキテクチャを最大限に活用するには、超並列処理、列指向データストレージ、および列指向データ圧縮を使用するようにテーブルを設計し、構築して、ロードする必要があります。データロード時間とクエリ実行時間が予想以上または必要以上に長い場合は、重要な情報を見落としている可能性があります。 経験豊富な SQL データベースデベロッパーには、Amazon Redshift データウェアハウスの開発を開始する前に、このトピックを読むことを強くお勧めします。 SQL データベー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Examples - Amazon Redshift
Amazon Redshift: Performance Tuning and Optimization
モンスターストライクを支えるデータ分析基盤と準リアルタイム集計
Best Practices for Data Warehousing with Amazon Redshift | AWS Public Sector Summit 2017
AWS Redshift best practices, tips and tricks