AWS Black Belt Techシリーズ Amazon Redshift
- The document discusses Amazon Redshift, a cloud data warehouse service from AWS. - It provides an overview of Redshift's architecture and how it has evolved over time, including the addition of new instance types. - It also discusses how Redshift can be used with Amazon S3 as a data lake, through features like Redshift Spectrum, to enable analytics on both data warehouse and lake storage.
これからAmazon Redshiftを始める技術者が注意すべき１１つのポイント ｜ DevelopersIO
更新版がこちらにありますので、こちらもぜひご覧ください。 これからAmazon Redshiftを始める技術者が注意すべき２２つのポイント Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何？という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意！ １件ずつINSERTするととても遅いので注意！ 主キー制約、一意制約、外部キー制約は違反してもエラーにならないので注意！ COPYコマンドは全件INSERTなので注意！ CSVでアップロードする場合の注意点！ サポートしているデータ型に注意！ エンコーディ
【新機能】Amazon Redshift の Interleaved Sorting機能を試してみた | DevelopersIO
はじめに 2015年05月11日にAmazon Redshift の Interleaved Sorting機能のリリースが発表されました。 データ分析では複数の分析軸によるデータディスカバリーが求められますので、DWHは高速に異なるカラムの検索や集計が必要とされます。既存のソートキー(COMPOUND SORTKEY)は、ソートキーの定義に無いカラムでは全てのブロックのスキャンが発生するので相対的に早くないという課題がありました。今回の Interleaved Sortingのリリースによって、ソートキーに指定した複数のカラムに対して、クエリーのフィルタを柔軟かつ高速に行えるようになりました。 昨年のre:invent2014のSDD414 - Amazon Redshift Deep Dive and What’s Next の "Multidementional indexing w
Amazon Redshift DB開発者ガイド – データのロード処理(4).テーブル分析 | DevelopersIO
Amazon Redshift DB開発者ガイド、データのロード処理編はまだもうちっとだけ続きます。Redshiftの重要な部分・機能だけあって割いてるボリュームも多いですね。当エントリは『テーブル分析』についてです。 目次 テーブル分析 ANALYZEコマンド履歴 新規テーブルの自動分析 テーブル分析 あなたは定期的にクエリプランナが最適な計画を構築し、選択する為に使用する統計的なメタデータを更新する必要があります。そのためには、テーブルを分析しましょう。 あなたは、ANALYZEコマンドを実行して明示的にテーブルを分析する事が出来ます。COPYコマンドを使用してデータをロードする時は、STATUPDATEをONに設定する事で自動的に分析を実行出来ます。デフォルトでは、空のテーブルにデータをロードした後にCOPYコマンドは分析を実行します。STATUPDATEをONに設定する事でテーブル
Amazon Redshift Useful SQL: VACUUM処理が必要なテーブルを洗い出す | DevelopersIO
当エントリの内容は一部情報が曖昧な部分があります。 改善を加えたSQLスクリプトを以下エントリにまとめましたのでこちらをご参照ください。 Amazon Redshift: VACUUM処理が必要なテーブルを改めて洗い出す ｜ Developers.IO Amazon Redshiftに於いて、『VACUUM』という処理は重要な要素となっています。適宜タイミングを見計らって実施する事でテーブルの情報を整理しソートされ、結果としてアクセスに対するレスポンス向上も見込めます。一方でVACUUM処理自体に必要となるリソースも多くなる事から、実施タイミングについても業務時間やピークタイムを避けて行う等の対処が求められたりします。VACUUMの処理については範囲としては『クラスタ全体』『テーブル単位』のいずれか、処理の種類としては『DELETE ONLY』『SORT ONLY』『DELETE/SORT
巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
VACUUM - Amazon Redshift
指定されたテーブルまたは現在のデータベース内のすべてのテーブルで、行を再ソートしてスペースを再利用します。 必要なテーブルのアクセス許可を持つユーザーのみが、テーブルにバキューム処理を効果的に行うことができます。必要なテーブルアクセス許可なしで VACUUM が実行された場合、オペレーションは完了しますが、効果はありません。VACUUM を効果的に実行するのに有効なテーブルアクセス許可のリストについては、「必要な権限」セクションを参照してください。 Amazon Redshift は、背景で自動的にデータをソートし、VACUUM DELETE を実行します。これにより、VACUUM コマンドを実行する必要が少なくなります。詳細については、「テーブルのバキューム処理」を参照してください。 デフォルトではVACUUM コマンドで、テーブルの行の 95 パーセント以上がすでにソートされているテー
Connecting with SQL Workbench/J - Amazon Redshift
You can connect to a database using SQL Workbench/J, a free, DBMS-independent, cross-platform SQL query tool. Amazon Redshift doesn't provide or install any third-party SQL client tools or libraries, so you must install any that you want to use with your database. To install SQL Workbench/J, follow the instructions in the SQL Workbench/J documentation (SQL Workbench/J). In general, to use SQL Work
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Not Enterpriseな会社でRedshiftを使ってみた
[db tech showcase Tokyo 2015] A32:Amazon Redshift Deep Dive by アマゾン データ サービス ジャパン株式会社 八木橋徹平![[db tech showcase Tokyo 2015] A32:Amazon Redshift Deep Dive by アマゾン データ サービス ジャパン株式会社 八木橋徹平](https://cdn-ak-scissors.b.st-hatena.com/image/square/6ded6d00ccaa81e098cb5bc33ef992d566235544/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdbts-tokyo-2015a32amazon-redshiftamazondataservicejapan-150623010123-lva1-app6892-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
AWS Redshift Analyzeの必要性とvacuumの落とし穴