Improving Amazon Redshift Performance: Our Data Warehouse Story
Credit: pixabay.comIt is challenging to manage an optimized Amazon Redshift cluster. Scaling the cluster to meet your growing storage and computation needs while maintaining optimized performance is a downright daunting task. Bad queries, poor distribution style and sort key selections, stale statistics and row cruft, insufficient resources, and concurrency and queue configuration issues all affec
【AWS Redshift】導入前に知っておくべきこと - packpak’s diary
AWS Redshiftを導入する前に知っておくべき、AWS Redshift の特性、長所、他所を開発・運用してきた中で要所っぽいところをいくつかTips的にまとめた。 字量が非常に多くて申し訳ないが、参考になれば。 RDBに比べて有用なケース/苦手なケース 下記のケースに合致する。 SQL文をベースとした、複雑で演算コストの高いETL（分析用途用のデータ加工処理の通称）の実行 BIツールのような、3～5列程度の列を利用した参照クエリの実行。 下記のケースは向かない。 短時間で非常に多くのクエリを実行するアプリケーション（1秒に5～10クエリなど）のバックエンド 短時間で非常に多くのCommitを実行するアプリケーション（Webフレームワークが勝手に）のバックエンド 一度に多くの列を取得するクエリを発行するアプリケーション（CSV出力など）のバックエンド 性能について クエリの性能 1つ
Redshiftを数百人で使うためのコツ（クラスター構成編） — HACK The Nikkei
日経ではアクセスログ、所謂クリックストリームデータを用途に合わせた複数のデータベースに格納し、サービス開発やマーケティングに携わる社員が自身でデータ分析ができるよう、セルフサービス化を進めています。 セルフサービス化を進めている背景として、データの集計や分析のニーズは日々増え続ける一方で、アナリストやデータサイエンティストのリソースはオンデマンドに増やせないため、いかにしてデータのアウトプットをスケールさせるかという課題があります。この課題に対するソリューションとして、データ専門チームの設立やオフショアのような人のリソースを拡張する施策に加え、ツールの整備と教育によるセルフサービス化に力を入れています。 データの集計や分析のセルフサービス化において、特に大きな課題がクエリーの負荷です。現在、およそ 200 人が BI ツールにログインして Redshift でクエリーを実行できる権限を保有
Amazon Redshiftの仕様を調べてみた | フューチャー技術ブログ
クラウド環境におけるDWHの選択肢として、Redshiftはもはや珍しいものではなくなりましたが、弊社内の採用実績はそれほど多くはありませんでした。 本記事は元々そのような社内向けに、Redshiftの基本的な仕様をなるべく網羅的に理解できるようまとめたものです。 筆者について新卒でフューチャーに入社し、今年で8年目になります。 入社後は一貫して技術畑、オンプレミスのインフラに始まり、直近ではアプリケーションまで含めたプロジェクトの技術統括を担当しています。 私もかつては社内有数のAWSエンジニアを自負していましたが、最近は別の仕事のため少し遠ざかっており、クラウドの世界は日進月歩なこともあり知識をアップデートする必要を感じています。 ※この記事の準備中にもElastic Resizeがリリースされました。 本記事は私のリハビリも兼ね、ドキュメントのまとめだけでなく、実際に手を動かして振る
PowerPoint Presentation
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. 仲谷 岳志 シニアインフラストラクチャーアーキテクト プロフェッショナルサービス本部 アマゾンウェブサービスジャパン株式会社 2-H1-3-14 Amazon Redshift の設計・運用大原則 © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. 仲谷 岳志（Takeshi Nakatani） Senior Infrastructure Architect, AWS Professional Services 略歴 • エンタープライズ分野で20年の業界経験 • ここ10年ほどはインフラアーキテクトとして設計～リリース支援に従事 • 直近ではAma
AWS Solutions Architect ブログ
Amazon Redshift テーブル設計詳細ガイド:Part 3 Compound and Interleaved Sort Keys（Compound と Interleaved ソートキー） 著者Zach Christopherson はAmazon Redshiftチームのシニアデータベースエンジニアです。 Part 1: Preamble, Prerequisites, and Prioritization（序文、事前準備、優先順位付け） Part 2: Distribution Styles and Distribution Keys（分散スタイルと分散キー） Part 3: Compound and Interleaved Sort Keys（Compound と Interleaved ソートキー）（本稿） Part 4: Compression Encodings（圧縮
SVL_QUERY_SUMMARY ビューの使用 - Amazon Redshift
select query, elapsed, substring from svl_qlog order by query desc limit 5; substring フィールドの切り捨てられたクエリテキストを調べ、どの query 値がクエリを表しているかを確認します。クエリを複数回実行した場合、query値が小さい行の elapsed 値を使用します。これは、コンパイル済みバージョンの行です。多くのクエリを実行している場合、クエリが確実に含められるように、LIMIT 句により使用される値を大きくすることができます。 クエリの SVL_QUERY_SUMMARY から行を選択します。結果をストリーム、セグメント、ステップ順に並べ替えます。 select * from svl_query_summary where query = MyQueryID order by stm, seg
ムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
