手動 WLM を実装する - Amazon Redshift
手動 WLM では、WLM 設定を変更して、実行時間が長いクエリと短いクエリ用に異なるキューを作成することによって、システムパフォーマンスとユーザーエクスペリエンスを管理できます。 ユーザーが Amazon Redshift でクエリを実行すると、クエリはクエリキューにルーティングされます。各クエリキューには、いくつかのクエリスロットが含まれています。各キューには、クラスターの使用可能なメモリの一部が割り当てられます。キューのメモリは、キューのクエリスロットに分けられます。Amazon Redshift では、自動 WLM を使用してクエリの同時実行数を管理できます。詳細については、「自動 WLM の実装」を参照してください。 または、クエリキューごとに WLM プロパティを設定できます。このようにして、メモリをスロット間に割り当てる方法と、ランタイムに特定のキューにクエリをルーティングす
Amazon Redshift クラスター - Amazon Redshift
現時点では、Amazon Redshift バージョン 1.0 エンジンを利用できます。ただし、エンジンの更新に伴い、複数の Amazon Redshift エンジンバージョンを選択できるようになる可能性があります。 プレビュークラスターの作成 Amazon Redshift クラスターを[Preview] (プレビュー) で作成して、Amazon Redshift の新機能をテストできます。これらの機能を本番稼働で使用したり、[Preview] (プレビュー) クラスターを本稼働クラスターや別のトラックのクラスターに移動したりすることはできません。プレビューの利用規約については、「AWS のサービス条件」の「ベータ版とプレビュー」を参照してください。 [Preview] (プレビュー) で クラスターを作成するにはAWS Management Console にサインインして https
新しいデータの更新と挿入 - Amazon Redshift
MERGE コマンドを使用すると、既存のテーブルに新しいデータを効率的に追加できます。マージ操作を実行するには、ステージングテーブルを作成し、このセクションで説明している方法のいずれかを使用して、ステージングテーブルからターゲットテーブルを更新します。MERGE コマンドの詳細については、「MERGE」を参照してください。 マージの例 は、Amazon Redshift 用のサンプルデータセット (TICKIT データセット) を使用します。前提条件として、「一般的なデータベースタスクの開始方法」に記載されている手順に従って、TICKIT テーブルとデータを設定できます。サンプルデータセットの詳細については、「サンプルデータベース」を参照してください。 マージ方法 1: 既存の行を置き換える ターゲットテーブルのすべての列を上書きする場合、マージを実行する最速の方法は、既存の行を置き換える
KLab-データ分析グループのblog : Amazon Redshiftで高速にINSERT + UPDATEを行なう
2013年07月10日 カテゴリ Amazon Redshiftで高速にINSERT + UPDATEを行なう こんにちは。takada-at です。 最近 KLabデータ分析グループではAmazon Web Services（AWS）が提供するデータ分析に特化したデータベースであるAmazon Redshiftを導入し、活用しはじめています。そこで、いくつか運用で学んだRedshiftのノウハウを書いていこうと思います。 今回はデータインポートの際のノウハウのひとつです。MySQLには、データインポート時、LOAD DATA INFILE コマンドにREPLACEというキーワードをつけることで、データが存在しなければINSERT、データが存在すればUPDATEという動作を実現することができます。http://dev.mysql.com/doc/refman/5.1/ja/load-dat
これからAmazon Redshiftを始める技術者が注意すべき１１つのポイント ｜ DevelopersIO
更新版がこちらにありますので、こちらもぜひご覧ください。 これからAmazon Redshiftを始める技術者が注意すべき２２つのポイント Amazon Redshiftを使った実案件を経験してこれは注意したほうがいいなというポイントをまとめました。自分が経験した範囲で書いているので多少偏っているかもしれませんが、参考になれば幸いです。データウェアハウスって何？という方は以前入門記事を書きましたのでこちらの記事をご覧ください。 気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 注意事項一覧 PostgreSQLと違う点に注意！ １件ずつINSERTするととても遅いので注意！ 主キー制約、一意制約、外部キー制約は違反してもエラーにならないので注意！ COPYコマンドは全件INSERTなので注意！ CSVでアップロードする場合の注意点！ サポートしているデータ型に注意！ エンコーディ
UNLOAD の例 - Amazon Redshift
パイプ区切りファイルへの VENUE のアンロード (デフォルト区切り文字） 次の例は、VENUE テーブルをアンロードし、データを s3://mybucket/unload/ に書き込みます。 unload ('select * from venue') to 's3://mybucket/unload/' iam_role 'arn:aws:iam::0123456789012:role/MyRedshiftRole'; デフォルトでは、UNLOAD はスライスごとに 1 つ以上のファイルを書き込みます。ノードごとに 2 つのスライスを装備した 2 ノードクラスターを想定すると、前の例では mybucket に以下のファイルが作成されます。 unload/0000_part_00 unload/0001_part_00 unload/0002_part_00 unload/0003_p
テーブルのバキューム処理 - Amazon Redshift
Amazon Redshift は、バックグラウンドでテーブルを自動でソートし、VACUUM DELETE オペレーションを実行できます。ロードまたは一連の増分更新の後にテーブルをクリーンアップするには、データベース全体または個々のテーブルに対して VACUUM コマンドを実行することもできます。 実質的に、テーブルの所有者またはスーパーユーザーのみがテーブルにバキューム処理を実行できます。そのテーブルの所有者権限またはスーパーユーザーアクセス許可を持っていない場合は、1 つのテーブルに対する VACUUM オペレーションは失敗します。テーブル名を指定せずに、データベース全体に VACUUM を実行した場合、オペレーションは正常に完了します。ただし、このオペレーションは、所有者の権限またはスーパーユーザーアクセス許可がないテーブルには効果がありません。 このため、必要に応じて、テーブルを個
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSSSLIDE