Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO
Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー
Amazon KinesisはRedshiftに匹敵する破壊力 ─Hapyrus藤川氏に聞くAWSビジネスのトレンド | gihyo.jp
今回のre:Inventに参加して、この勢いは止められないとつくづく感じます。オンプレミスとAWSのすり合わせもかなり進んでおり、スタートアップからはAWSをベースにした新たなクラウドソリューションが次々と出ています。ほかのクラウドベンダとの差は縮まるどころか、拡がる一方でしょうね。 既存のRDBMSからRedshiftにJOIN ──前回お話を伺ったときはRedshiftが出てまもないころでしたが、その後、Hapyrusのビジネスも含め、Redsiftの市場における認知度はどれくらい高まってきた感じですか。 藤川：ものすごく応用範囲が拡がってきていると実感します。現在AWSが公開している事例から紹介すると、英BBCがグローバルで展開するコンテンツの分析をRedshift経由でオンデマンドで行うなど、大規模環境での利用が増えてきています。米国では金融やアドテクの事例が多いですね。とくにト
Tableau から Amazon Redshift につないでみた - 技術ノート
2013-08-22 Tableau から Amazon Redshift につないでみた Amazon Redshift は触ってないといけなさそうなご時世なので、かるく試してみた。 参考にしたページ: Amazon Redshiftではじめるビッグデータ処理入門 Amazon RedshiftとTableauによるビッグデータ分析 〜 Tableau Desktopを使ってみた 〜 ちょっと試すだけなら、あまりに簡単でびっくり。 公式のチュートリアルにある例をTableauで再現してみた。 Find total sales on a given calendar date. SELECT sum(qtysold) FROM sales, date WHERE sales.dateid = date.dateid AND caldate = '2008-01-05'; 一日だけ表示しても
Amazon RedshiftとTableauによるビッグデータ分析 〜 Tableau Desktopを使ってみた 〜 | DevelopersIO
お盆真っ盛り＆暑さ最高潮＆夏休みムード漂う今日この頃ですが皆様いかがお過ごしでしょうか。 最近はAmazon Redshiftに関して色々調査実践等を行なっているのですが、Amazon Redshiftで収集したビッグデータを扱う『分析ツール』もまた欠かせないものであると思います。今回、BI(ビジネス・インテリジェンス)ツールとして『Tableau』という企業の製品が良い感じですよ、という情報を得たのでトライアル版を導入し、動作確認やRedshiftとの連携等を試してみました。 目次 Tableau Softwareとは Tableau Softwareの製品一覧 Tableau Desktopを試しに使ってみる Tableau Desktop: オンライン無料入門トレーニング Tableau製品に関する各種ドキュメント Amazon Redshiftとの連携 まとめ Tableau So
Shantanu's Blog: Redshift Tips
# List all tables: select db_id, id, name, sum(rows) as mysum from stv_tbl_perm where db_id = 100546 group by db_id, id, name order by mysum desc; # list all running processes: select pid, query from stv_recents where status = 'Running'; # describe table select * from PG_TABLE_DEF where tablename='audit_trail'; select * from pg_tables where schemaname = 'public' # Disk space used: select sum(used-
Trasis Lab » PostgreSQLで現在実行中のSQLの確認と、プロセスのkill
概要 PostgreSQL上で実行中のSQLを停止する方法について説明する。 Javaサーバ上で時間のかかるSQLを実行してしまい、Javaサーバを停止せずにそのスレッドだけを停止したい場合などにおいて、次の手順で実行された SQL を停止できる。 手順 プロセスID(pid)の確認 まず、問題のSQLが実行されるプロセスのIDを調べる。 コマンドラインなどで、次のSQLを実行。 SELECT procpid, start, now() - start AS lap, current_query FROM (SELECT backendid, pg_stat_get_backend_pid(S.backendid) AS procpid, pg_stat_get_backend_activity_start(S.backendid) AS start, pg_stat_get_backen
Amazon Redshift DB開発者ガイド – データベース使用入門 | DevelopersIO
はじめに このエントリは下記ドキュメントの翻訳版的位置付けで書いています。 Getting Started Using Databases - Amazon Redshift 途中『TICKIT』データベースのテーブル作成の辺りでデータの準備やS3からのロードを行う部分がありますが、該当するサンプルデータは用意しておりません。(※実装公式ドキュメントの方でも見つからなかった)流れ的には追って行けると思いますが、もし実データをAmazon S3にアップしRedshiftにロードする...と言った作業を実践してみたいと言う方は以下のエントリをご参照ください。別テーブルの内容ではありますが、一連の該当部分についても解説しています。 Amazon Redshiftを始めてみよう(入門ガイド翻訳＆実践：前編) ｜ Developers.IO Amazon Redshiftを始めてみよう(入門ガイド翻
Amazon Redshift編～パフォーマンスチューニング sortkey編～
こんにちは！中の人です。 前回までのレシピでは、Redshiftに対して様々な環境下でのパフォーマンス比較をおこなってきました。 ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（シングル）～ ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（マルチ）～ ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（XL vs 8XL）～ ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較 (まとめ)～ ■ Amazon Redshift編～パフォーマンス比較（MySQL vs Redshift）前編～ ■ Amazon Redshift編～パフォーマンス比較（MySQL vs Redshift）後編～ 今回は『Amazon Redshift編～パフォーマンスチューニング sortkey編～』
Amazon Redshift編～パフォーマンスチューニング distkey編～
こんにちは！中の人です。 前回の『Amazon Redshift編～パフォーマンスチューニング sortkey編～』では、Redshiftのパフォーマンスチューニングとしてsortkeyの設定方法と、設定によるパフォーマンスの違いを紹介しました。 今回は『Amazon Redshift編～パフォーマンスチューニング distkey編～』と題して、Redshiftに対してdistribution keyを設定した場合のパフォーマンスについて紹介します。 テスト方法 今回は、こちらのクエリを使用します。 select avg(column01) from SAMPLE_TABLE where column01>5000 and date like '13-06%'
Amazon Redshift DB開発者ガイド – データのロード処理(1).データロードのベストプラクティス ｜ Developers.IO
Amazon Redshift DB開発者ガイド – データのロード処理(1).データロードのベストプラクティス 先週末『パシフィック・リム』を3D字幕版で観て、これは吹替版でも新たに観るべきか…と若干迷っている今日この頃、皆様いかがお過ごしでしょうか？しんやです。 先週、RedshiftではAmazon Redshift DB開発者ガイド – テーブル設計のベストプラクティスをエントリとしてアップしましたが、もう1つ『ベストプラクティス』がありましたので同じように切り出してご紹介したいと思います。それがこちらの『データロードのベストプラクティス』です。このエントリ情報を含む『Loading Data』に関しては、その他にも有用な情報が散りばめられていますので、何回かに分けてこちらに展開して行ければと思っております。 はじめに 非常に大規模なデータセットをロードするには、とても長い時間が掛
Amazon Redshift DB開発者ガイド – テーブル設計のベストプラクティス | DevelopersIO
データベース設計を考える上で、あなたが下さなければならない重要な決定があります。その決定はクエリパフォーマンス全体に影響を与える可能性があります。これら設計に関する決定はまた、I/Oオペレーションの数を削減したりクエリを処理するのに必要なメモリを最小化する事でクエリのパフォーマンスに影響を与えるストレージ要件に大きな影響を及ぼします。 テーブル作成の際にクエリのパフォーマンスに最も大きな影響を与えるであろう決定次項は以下のとおりです。 最善のソートキー(sort key)を選択する 最善の分散キー(distribution key)を選択する 最善の圧縮戦略(compression strategy)を選択する 制約を定義する あなたが下す決定は、データベースが行なっている作業の種類に依存して来ます。全ての状況に効果的な『最高のソートキー』は無いのです。 このセクションでは最も重要な設計上
Amazon Redshift DB開発者ガイド – システム概要 | DevelopersIO
Amazon Redshiftデータウェアハウスは、エンタープライズクラスのリレーショナル・データベースクエリと管理システムです。 Amazon Redshiftはビジネス・インテリジェンス(BI)、レポート、データ、分析ツール等を含む多くの種類・タイプのアプリケーションを用いてのクライアント接続をサポートしています。分析クエリを実行する際は、取得や比較、及び最終結果を生成する為に複数段階操作で大量のデータを評価しています。 Amazon Redshiftは、効率的なストレージと超並列処理、柱状データストレージ、及び非常に効率的な、ターゲットを絞ったデータの圧縮符号化方式の組み合わせにより、最適なクエリのパフォーマンスを実現します。このセクションでは、Amazon Redshiftのシステムアーキテクチャの概要を提示し、データベースの設計、パフォーマンスを最大化するためのアーキテクチャを活
AWS Summit Tokyo 2013(1) Redshiftのパフォーマンスと使いどころ - Continuous Ops
AWS Summit Tokyo 2013の中から2セッション、まとめておきたいと思います。1つめはRedshiftに関するセッションです。 セッション紹介 ｜ AWS Summit Tokyo 2013 「Amazon Redshiftが切り開くクラウド・データウェアハウス」 私の勤務するAMoAdでは、RedShiftがUS-Eastリージョンで使えるようになって以来注目していて、実際に本番環境で使ってきました。 私は中心的にRedshiftをじっくり使ってきたわけではないのですが、運用担当として興味深く聴講しました。 Redshiftの概要 エンタープライズシステムにおける活用ノウハウ Amazon Redshiftの取り組みについて クラウド型データウェアハウス オンプレ環境におけるデータウェアハウスの課題 ・初期投資 ・運用管理 ・成長予測・費用対効果 install backu
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
| はたーじぶろぐ＠イベント・セミナー主催者のための「イーベ！」運営中！
conma.me
Amazon Redshift