redshiftのカラムに適切なencodeを設定する
redshiftはいわゆるcolumner型のデータ構造を持っているので、各columnに適切なencode(圧縮)方式を適用することが運用に際して非常に重要になります。 ◯redshiftに任せる redshiftは、当該テーブルへの初回copy時に適切なencodeを自動検出し適用する機能があります（10万レコードからサンプリングし、推定）。最もナイーブな方式としてはこちらに任せる、という方法があります。 適用されたencodeは、以下のクエリーを実行することで確認できます。 select * from pg_table_def where tablename = 'hoge'; ◯analyze compressionを実行した結果を適用する ただし、初回のサンプリングだけでは限界があり、運用を重ねていった結果実情に則さなくなるケースも多いです。 現在蓄えられたデータから最適なenc
Big Data Benchmark
Click Here for the previous version of the benchmark Introduction Several analytic frameworks have been announced in the last year. Among them are inexpensive data-warehousing solutions based on traditional Massively Parallel Processor (MPP) architectures (Redshift), systems which impose MPP-like execution engines on top of Hadoop (Impala, HAWQ), and systems which optimize MapReduce to improve per
Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（まとめ）～
こんにちは！中の人です。 前回までのレシピでは、下記の３回にわたってRedshiftに対して負荷をかけるテストを行って来ました。 ■Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（シングル）～ ■Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（マルチ）～ ■Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（XL vs 8XL）～ 今回は、それらの内容のまとめをお話したいと思います。 ■ 約8千行（10回平均）に対するクエリ実行 分かりやすくグラフにまとめてみました。 棒グラフ：実行時間(秒) 折れ線グラフ：CPU負荷率(%) となっております。 CPUは8XLが圧倒的に安定していますが、処理速度は件数が少ない場合にはかえってパフォーマンスが落ちることが確認できます。 ■ 約60万行（10回平均）に対するクエリ実行
Amazon Redshift編～パフォーマンスチューニング sortkey編～
こんにちは！中の人です。 前回までのレシピでは、Redshiftに対して様々な環境下でのパフォーマンス比較をおこなってきました。 ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（シングル）～ ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（マルチ）～ ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較（XL vs 8XL）～ ■ Amazon Redshift編～複数クエリ同時実行時パフォーマンス比較 (まとめ)～ ■ Amazon Redshift編～パフォーマンス比較（MySQL vs Redshift）前編～ ■ Amazon Redshift編～パフォーマンス比較（MySQL vs Redshift）後編～ 今回は『Amazon Redshift編～パフォーマンスチューニング sortkey編～』
[AWSマイスターシリーズ] Amazon Redshift
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
![[AWSマイスターシリーズ] Amazon Redshift](https://cdn-ak-scissors.b.st-hatena.com/image/square/d3d77b24425b076465ce0beecdb26fe7388947ad/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20130716aws-meister-regenerate-redshiftpublic-130719022907-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Speeding things up with Redshift
Recently we’ve started to experiment with using Redshift, Amazon’s new data warehousing service. More specifically, we’re using it to speed up and expand our ad hoc data analysis. The Challengebitly sees billions of clicks and shortens each month. Often we have various questions about the data generated from this activity. Sometimes these questions are driven by business needs (how much traffic do
Amazon Redshiftの開発者がこれだけは知っておきたい10のTIPS / 第18回 AWS User Group - Japan
This document provides an overview of AWS CloudHSM, a managed cryptographic key management service by AWS. It discusses AWS CloudHSM and AWS KMS services for key management, compares their features, and describes how AWS CloudHSM provides FIPS 140-2 Level 3 compliant HSMs for single-tenant key storage and cryptographic operations offloading. The presentation agenda includes cryptography basics, AW
Fluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログ
ゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドでも自然言語処理や機械学習を中心としたデータ解析処理がサービスの生命線となっていますし、サービスの裏側でも戦略を立てる上で効果測定や諸々のデータの分析は非常に重要な位置を占めています。 本記事では主にサービスの裏側で求められるデータ解析において、いかにカジュアルにデータを解析するか、の一例として、掲題のような組み合わせによるデータ可視化の事例を簡単にですがご紹介したいと思います。 データ解析基盤を作る側の視点からすると、システムとして求められる要件は以下のようなものだと理解していま
Metaprogramming Python for Big Data
For many companies, understanding what is going on in your business involves lots of data. But, how do you query 10s of billions of data points? How can a company begin to make sense of so much information? Ville Tuulos, Principle Engineer at AdRoll, a company producing tons of big data, demonstrates how AdRoll uses Python to squeeze every bit of performance out of a single high-end server. They m
Byte-dictionary encoding - Amazon Redshift
In byte dictionary encoding, a separate dictionary of unique values is created for each block of column values on disk. (An Amazon Redshift disk block occupies 1 MB.) The dictionary contains up to 256 one-byte values that are stored as indexes to the original data values. If more than 256 values are stored in a single block, the extra values are written into the block in raw, uncompressed form. Th
Text255 and Text32k encodings - Amazon Redshift
Text255 and text32k encodings are useful for compressing VARCHAR columns in which the same words recur often. A separate dictionary of unique words is created for each block of column values on disk. (An Amazon Redshift disk block occupies 1 MB.) The dictionary contains the first 245 unique words in the column. Those words are replaced on disk by a one-byte index value representing one of the 245
Mostly encoding - Amazon Redshift
Mostly encodings are useful when the data type for a column is larger than most of the stored values require. By specifying a mostly encoding for this type of column, you can compress the majority of the values in the column to a smaller standard storage size. The remaining values that cannot be compressed are stored in their raw form. For example, you can compress a 16-bit column, such as an INT2
Delta encoding - Amazon Redshift
Delta encodings are very useful for date time columns. Delta encoding compresses data by recording the difference between values that follow each other in the column. This difference is recorded in a separate dictionary for each block of column values on disk. (An Amazon Redshift disk block occupies 1 MB.) For example, suppose that the column contains 10 integers in sequence from 1 to 10. The firs
JAWS UG中央線 LT Redshift Compression Encodings（圧縮アルゴリズム）
隠れたデータベースの遅延原因を特定し、そのレスポンスの改善手法紹介 @ dbtech showcase Tokyo 2019
Redshift Compression Encodings（圧縮アルゴリズム）についてもっと調べてみた
RedshiftのCompression Encodingsの種類について調べていたところ、挙動に気になるところがあったので検証してみました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Redshift – Differentiators and Limitations - Big Data Solutions and Tools - Quora
RedshiftはDWHだけじゃない
AWS Webcast - Amazon Redshift Best Practices for Data Loading and Query Performance
More on Actian/ParAccel/VectorWise/Versant/etc. | DBMS 2 : DataBase Management System Services
AWS Redshift デザインパターン データロード編
