Amazon Redshift編～パフォーマンスチューニング sortkey編～
こんにちは！中の人です。 前回までのレシピでは、Redshiftに対して様々な環境下でのパフォーマンス比較をおこなってきました。 ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（シングル）～ ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（マルチ）～ ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（XL vs 8XL）～ ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較 (まとめ)～ ■ Amazon Redshift編～パフォーマンス比較（MySQL vs Redshift）前編～ ■ Amazon Redshift編～パフォーマンス比較（MySQL vs Redshift）後編～ 今回は『Amazon Redshift編～パフォーマンスチューニング sortkey編～』
Redshiftの調査系クエリ3選 - Librabuch
Redshiftでテーブル定義やエラーログの確認・調査を行いたいときによく使うクエリを3つ紹介します。 テーブル定義の確認 既存のテーブル定義を確認したいときは次のクエリを発行します。 SELECT * FROM pg_table_def WHERE tablename = 'テーブル名' 確認できる情報は以下の通りです。 schemaname（publicとか） tablename（テーブル名） column（カラム名） type（カラムのデータ型・VARCHARなど） encoding（圧縮アルゴリズム。deltaとかtext255とか） distkey（DISTKEY指定フラグ） sortkey（SORTKEY指定フラグ） notnull（NotNULL制約フラグ） 自動選択されたCompression Encodingsを確認したい場合にもこのクエリを利用します。 テーブル一覧の確
クエリパフォーマンスのチューニング - Amazon Redshift
Amazon Redshift は、構造化クエリ言語 (SQL) に基づくクエリを使用して、システム内のデータおよびオブジェクトとやり取りします。データ操作言語 (DML) は、データの表示、追加、変更、削除に使用する SQL のサブセットです。データ定義言語 (DDL) は、テーブルやビューなどのデータベースオブジェクトの追加、変更、削除に使用する SQL のサブセットです。 システムがセットアップされると、通常は DML を最も多く使用します (特にデータを取得および表示する SELECT コマンド)。Amazon Redshift で有効なデータ取得クエリを記述するには、SELECT についてよく理解し、Amazon Redshift テーブル設計のベストプラクティスにまとめられているヒントを当てはめてクエリの効果を最大限に高めてください。 Amazon Redshift がクエリを
DATEDIFF 関数 - Amazon Redshift
DATEDIFF( datepart, {date|time|timetz|timestamp}, {date|time|timetz|timestamp} ) 引数 datepart 関数が実行される日付または時刻値 (年、月、または日、時、分、秒、ミリ秒、またはマイクロ秒) の特定部分。詳細については、「日付関数またはタイムスタンプ関数の日付部分」を参照してください。 特に、DATEDIFF は 2 つの式の間で越える日付部分の境界の数を決定します。例えば、12-31-2008 と 01-01-2009 の 2 つの日付間で年の差を計算しているとします。この場合、これらの日付は 1 日しか離れていないにもかかわらず、関数は 1 年を返します。2 つのタイムスタンプ (01-01-2009 8:30:00 と 01-01-2009 10:00:00) の間で時間の差が分かっている場合、結
＃3 JSONフォーマットをサポートしたAmazon Redshiftを使ってみる | gihyo.jp
Amazon Redshiftは非常に魅力的なクラウド・データウェアハウスですが、データをロードするところに苦労する部分が多く、我々FlyDataはデータインテグレーションサービスとしてRedshiftに関するWebサービスを提供しています。その中でも特に、JSONデータフォーマットのサポートがRedshiftユーザに好評で、FlyDataでも積極的に開発しています。そのJSONサポートが、ついにAWSによってRedshiftに提供され始めたということで、詳細を調べてみました。 まずその前に、JSONの基本から見ていきましょう。JSONは急速に、アプリケーションとサーバ間のデータ交換を行うためのデファクトフォーマットとなりつつあります。つまり、簡単かつ柔軟に扱えるその特性により、JSONログを生成・分析することが一般的になりつつあるのです。 より多くのデータがJSONフォーマットで生成・保
Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO
Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー
列指向ストレージ - Amazon Redshift
データベーステーブルの列指向ストレージは、ディスク全体の必要な I/O を大幅に減らすため、分析クエリのパフォーマンスの最適化の重要な要因となっています。これにより、ディスクからロードする必要のあるデータの量が減ります。 以下の一連の図では、列指向データストレージにおいて効率性がどのように実装され、データがメモリに読み込まれるときの効率性にどのように変換されるのかについて説明します。 この最初の図では、データベーステーブルのレコードが行ごとにディスクブロックに格納される一般的な方法を示します。 標準的なリレーショナルデータベーステーブルでは、各行には 1 つのレコードのフィールド値が含まれます。行対応のデータベースストレージでは、データブロックには、行全体を構成する連続した各列の値がシーケンシャルに格納されます。ブロックサイズがレコードのサイズより小さい場合、1 レコード全体のストレージに
『Amazon Redshift&Tableau パフォーマンスチューニング』に関するホワイトペーパーを読んでみた | DevelopersIO
ノードのサイズを大きくする事で可能となるカーソルの数も増やせる様になり、クエリの同時実行についてもより大きなレベルで実行出来るようになります。もしワークブックから直接Redshiftに接続しているのであれば、Redshiftは十分な計算リソースとメモリ容量、更には十分なストレージ容量の結果を備えるようになり、結果としてクエリパフォーマンスの向上ときびきびとしたユーザーエクスペリエンスに繋がります。 クラスタののサイズをどのような内容にするのかについては、求めるワークブックの更新スピードとDWHに対するクエリの接続数を考慮して決定する事になります。もし多くのワークブックを同時に更新し、多くのユーザーが同時にクエリ接続を行える形を望むのであれば、高キャパシティのものを選びましょう。 データの暗号化 - 暗号化は慎重に 機密データを含む環境・ケースの場合、ディスクに格納されているデータの暗号化が
Amazon Redshiftの分析対象とするデータの設計／加工のポイント
……とは言うものの、今回はまだRedshiftに本格的には踏み込みません。Redshift分析環境にインポートし、実際に分析対象としてアクセスする『データ』（ファイル）に関する部分について、やらなければいけないこと、気を付けるべき点を中心に話を進めていきます。分析環境の構築と同様に大事な点であり、労力を掛けるべき点であると個人的に考えている部分です。 分析テーマをピックアップ 今回のようなビッグデータ分析環境を構築するとなった場合、まず間違いなく分析環境を構築するための『元ネタ』ありきで話が進んでいるものと思われます。『現在稼働中の△△△システムで日々生成されている◯◯データや※※※のログをこういう風に見てみたい／分析して業務に役立てたい』『今度リリースする◯◯のシステムで、こういう情報が取得、生成されるのでそのデータを分析してみたい』などです。 そのような環境の場合、先行してまずは1つ『
SIOS ビッグデータ技術ブログ: RedShiftの事始め～環境構築前編～
こんにちは。SSTD 手塚です。 今回が二度目の投稿です。 青いウサギのアイコンが目印です。全く関係のない自己紹介です。 それはさておき、そろそろお盆も近くなり皆様夏休みなど取られている頃でしょうか。 いいですよね、夏休み。 欲しいです。夏休み。 いや、近々取りますけどね？ 私はビールがあまり飲めません。大村より夏らしい写真を頂きました。セミナーに行った際に出てきたみたいです。 そんな含みを入れたところで今回のブログについてです。 【夏休み】ということも考えてこの空いた時間を家族サービスに利用するという方もいる一方、 何か新しい技術を触ってみようという人もいるかと思います。 そこで、今回はブログタイトル通り 「RedShiftの事始め」としてRedShiftを利用するまでの環境準備からサンプル実行までを さくっとブログとして掲載しようと思った次第です。 SSTDの人間なんだからTreasu
Amazon Redshiftではじめるビッグデータ処理入門 記事一覧 | gihyo.jp
第5回Amazon Redshiftのアーキテクチャ ～スケーリングとリストアを試してみよう 宮崎真，藤川幸一 2013-06-10
すかいらーく、数十億件のPOSデータ分析で「Amazon Redshift」を採用
レストラン経営のすかいらーくは、全国の店舗から集めたPOSデータを分析するインフラとして、米アマゾン・ウェブ・サービス（AWS)のデータウエアハウス（DWH）クラウド「Amazon Redshift」を採用し、2014年2月に本格運用を始めた。数十億件のデータをRedshiftに投入し、マーケティング施策の効果検証などに活用している。 すかいらーくの店舗系システムには、1日当たり数百万件分のPOSデータが取り込まれる。これを自動でAmazon Redshiftに取り込み、BIツール「Tableau Desktop」と「Tableau Server」で分析、可視化できるようにした。数年分の過去データも取り込み済みで、扱うデータは数十億件規模になるという。このデータを使い、メニューの併売率の分析やバスケット粗利の計算、クーポンの販促効果、顧客の滞在時間の分析などに活用している。 導入期間もコス
第1回 Amazon Redshiftとは［前編］ | gihyo.jp
Amazon Web Services（AWS）は次々と新しいサービスを世の中に出して、クラウド・コンピューティングの可能性を広げていっています。そのAWSから登場した最新のサービスであるAmazon Redshiftは、そのパフォーマンスや驚異的な低コストのため、発表当時から大変な反響を呼んできました。 この連載では、 Redshiftの概要からその利用方法まで、主にあまりデータウェアハウスを利用した経験がないWeb開発エンジニアなど向けに、このビッグデータ向けクラウド・データウェアハウス製品であるAmazon Redshiftの解説をして行きたいと思います。 まずは、そもそもAmazon Redshiftとは何なのか、その概要から説明します。 Amazon Redshiftはビッグデータ時代のクラウド・データウェアハウス 2012年11月、AWSにとって初めての世界的なユーザカンファレ
「Amazon Redshift」を使ってみた ～使いどころと、つまずきがちなポイント
はじめに Amazon Redshiftは、Amazon Web Services（AWS）が提供するデータウェアハウス（DWH）サービスで、2013年2月に正式リリースされ、同6月4日には東京リージョンでも利用可能になりました。既存のDWHと比較しても安価で、PostgreSQLベースで容易に高速なデータ分析が可能であることなどが知られており、注目も高まっています。 ところが、日本国内では「使ってみた」という情報は非常に少ないです。幸運にも筆者は、限定プレビューの段階からRedshiftに触れる機会に恵まれました。そこで、今回は「こんな使い方をしてみました」「こんなところでつまずいた」といったことを中心に紹介したいと思います。 なお、本記事は限定プレビュー～サービス開始当初の米国東部リージョンでの使用結果を元に執筆しており、当時のAPIバージョンは2012-12-01です。東京リージョン
Amazon Redshiftの利点
Amazon Redshiftについて色々と聞く機会があった。その時聞いたことメモ。 Amazon EMRとAmazon Redshiftの違い まずは、よく比較されることになるEMRとRedshiftの違いから。 Amazon EMR HadoopクラスタとHiveを簡単に使うためのサービス。自由な台数のクラスタを自由なタイミングで起動したり破棄したりできる。 Hadoopクラスタ運用(初期設定、チューニング、等)の手間が完全に不要なのはものすごいメリット。 クエリの速さは、ログの量によりますが、数分～数十分くらいかかる。(ログの行数が数百万～数千万ある時) 利用者から見た基本的な用途・できることはEMRとほとんど同じ。ただ、仕組みが全く違う。 RedshiftはRDBのような(Postgresベースらしい)テーブル設計を持つ。例えば、VARCHAR(255)みたいなカラムを持つ。EMR
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Redshiftで構築するビッグデータ分析環境の構成要素と全体像
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
Amazon Redshift for Business Intelligence
TechCrunch | Startup and Technology News