GCE BigQuery vs AWS Redshift vs AWS Athena - gab.lc
Updates 7/20/17 update Following Tino Tereshko's advice (he is Big Data Lead at Google Cloud Office of CTO), I added the metrics for BigQuery standard SQL and re-calculated the data loading time (from Google Cloud Storage to BigQuery) following their recent optimizations. 7/6/17 update With Joe Harris' help (he is a Redshift Database Engineer at AWS), I measured the performance of an optimized sch
Google BigQuery Benchmark — DoIT International :: Helping businesses adopt, manage and enhance cloud solutions from Google and Zendesk
By Vadim Solovey, Google Developer Expert.Recently, I came across an interesting benchmark of BigData systems based on "A Comparison of Approaches to Large-Scale Data Analysis" by Pavlo et al. (SIGMOD 2009). Based on the benchmark methodology, the APMLab guys from Berkeley University developed an open-source software that allows anyone to run this benchmark using public cloud (AWS in this case).Th
(DAT308) Yahoo! Analyzes Billions of Events a Day on Amazon Redshift
(DAT308) Yahoo! Analyzes Billions of Events a Day on Amazon Redshift Amazon Redshift is a fast, fully managed petabyte-scale data warehouse service that costs less than $1,000 a TB a year, under a tenth the price of most traditional data warehousing solutions. Learn how Yahoo! uses both to build a billion event a day infrastructure that is fast, easy, and cost-effective. Dive into how Yahoo perfor
Redshift の Interleaved Sort Key について解説してみる - Qiita
はじめに Redshift における Sort Key の１つである Interleaved Srot Key について解説をします。公式ドキュメントにはさらっとしか記述がないのですが、私が確認した公開された情報のなかでは AWS Blog が一番詳しく解説されていました。本稿はこちらの Blog を理解することを目的とします。 Sort Style 大きく分けて 3 つあります。 Single-column Sort Key column 単位で設定された Key。 Compound Sort Key table 単位で設定されたもので、2つ以上の column に対してセットされた Key。いわゆる複合 Key で Primary, Secondary と Key 間に優先順位があります。 Interleaved Sort Key table 単位で設定されたもので、1つ以上の col
MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre
BigQueryことはじめ。あとBigQueryについて料金とか運用とか調査 - Qiita
まだ入門もしてないので「ことはじめ」じゃないです。 大体触ってみたのを載せます。 Wikipedia 集計 サンプルデータのwikipediaを集計してみました。 データは3億行ほどあり、サイズは36GBほどあります。 今回は、contributor_usernameを集計し、wikipediaに貢献している人ランキングをつくりました。 上位陣はbotさん達ですね。 結果としては、3億行のデータを、 何も考えずに書いて 16.2秒で集計することが出来ました。 3億行を16秒。 countしなければ3秒くらいで終わります。 MapReduceみたいなのを一切書いてないのにこの速度。 ちなみにテーブルはインデックスしているわけではなく毎回フルスキャンしているらしい。 わお。 データ保管: \$0.026/GB/mo クエリ: $5/TB (スキャンしたデータのサイズで課金) 今回のwikipe
Amazon RedshiftのUNLOADコマンド: PARALLELオプションで出力ファイルを一括化 | DevelopersIO
先日5/6に、Amazon RedshiftのUNLOADコマンドに関する機能改善が発表されました。UNLOADコマンドとは、Redshiftクラスタ内のテーブルに格納されているレコードをエクスポートする際に用いるコマンドになります。 Release: Amazon Redshift on 2014-05-06 : Release Notes : Amazon Web Services UNLOAD - Amazon Redshift このエントリでは、そのUNLOADコマンドに追加されたオプション機能『PARALLEL』についてその内容を確認してみたいと思います。 UNLOADコマンドでPARALLEL OFFコマンドを使う事によって出力ファイルを1つにまとめる事が出来るようになった You can unload table data serially to a single file
AWS Casual 02: ふつうのRedshiftパフォーマンスチューニング
ふつうのRedshiftパフォーマンスチューニング @ AWS Casual 02, 2014-04-18Read less
The Twitch Statistics Pipeline - My Musings
This is part one of a three part series covering all aspects of our data analysis. This part describes our pipeline. The second part will go into detail concerning particular design decisions. The third part covers this history of analytics at Twitch. If at any point you think to yourself you'd like to know more about what we do you should check out our team page.In the beginning we logged all of
Hadoop vs. Redshift: What You Need to Know
Nearly a decade after Amazon announced Redshift, its competitor to Apache’s Hadoop, the Hadoop vs. Redshift debate continues. For companies seeking a reliable data warehousing solution, both are worthy contenders, but examining the following aspects will help you decide the winner for yourself. Hadoop scales endlessly with no reshuffling required. Redshift won’t expand beyond 16 petabytes. Redshif
COPY - Amazon Redshift
Amazon Redshift Spectrum external tables are read-only. You can't COPY to an external table. The COPY command appends the input data as additional rows to the table. The maximum size of a single input row from any source is 4 MB. COPY table-name [ column-list ] FROM data_source authorization [ [ FORMAT ] [ AS ] data_format ] [ parameter [ argument ] [, ... ] ] You can perform a COPY operation with
［号外］テラバイト級全件データを数秒で処理！ 新しいSSD版Amazon Redshiftインスタンスは“衝撃の速さ” | gihyo.jp
AWS・Amazon Redshift Monthly Updates ［号外］テラバイト級全件データを数秒で処理！ 新しいSSD版Amazon Redshiftインスタンスは“衝撃の速さ” 2014年1月24日にAmazon Redshift の新しいSSDインスタンスタイプがリリースされました。 AWS発表のブログ記事 【AWS発表】Amazon Redshiftにさらに高速で費用対効果の高いSSDベースの新しいノードが追加 リリース後すぐにそれぞれAmazon Redshiftが利用可能なリージョンで使えるようになったので、さっそくFlyDataチームでもこの新しいインスタンスタイプを試してみました。以前、Amazon Redshiftが最初に公開された時に私たちはHadoop＋Hiveとのベンチマークを実行し公開したのですが、その時と同じ前提で今までのHDDバージョンとSSDバージ
AWS Webcast - Amazon Redshift Best Practices Part 2 – Performance
Get the most out of Amazon Redshift by learning about cutting-edge data warehousing implementations. Desk.com, a Salesforce.com company, discusses how they maintain a large concurrent user base on their customer-facing business intelligence portal powered by Amazon Redshift. HasOffers shares how they load 60 million events per day into Amazon Redshift with a 3-minute end-to-end load latency to sup
Amazonが注目のビッグデータ対応サービスを発表
Amazon Web Service(AWS)チームがAmazon Redshiftの限定プレビューを発表した。その費用と機能で業界に波乱を巻き起こしそうなクラウドベースのデータウェアハウスだ。２タイプの大規模コンピュートインスタンスとデータ統合ツールData Pipelineも同時に発表されている。総合的にこれらのサービスは，ビジネスデータの収集，格納，解析にパブリッククラウドを用いる上で，費用対効果と効率の面でユーザ企業が持つ懸念を払拭するための第一歩となるものだ。 ラスベガスで開催された第１回 AWS re:Invent カンファレンスにおいて，AWSのCTOであるWerner Vogels氏は "高速でパワフル，そして完全に管理された，ペタバイト規模のクラウドデータウェアハウス" としてRedshiftを紹介した。Redshiftが大規模データを効率的に解析可能な理由について，氏は
RedshiftにSSD搭載のノードタイプが追加されたようです - Librabuch
Amazon Web Services ブログ: 【AWS発表】Amazon Redshiftにさらに高速で費用対効果の高いSSDベースの新しいノードが追加 上記の記事の通りですが、RedshiftにSSDを持つノードが追加されたようです。 簡単に従来のdw1.xlargeと、今回のdw2.largeを比較をすると以下のようになります。 ストレージ容量が0.08倍（160GB） 価格が0.26倍（$0.33/h） ECUが1.6倍（7ECU） 30日換算で月間約$238です。2万5千円！ 価格については以下参照。 Amazon Redshift の料金表 | アマゾン ウェブ サービス（AWS 日本語） dw2.largeの価格をdw1.xlargeに揃えようとすると4ノード分に相当しますので、その場合、これまで通りの約$900で640GBのSSDストレージが使えることになります。 DWH
Big SQL Analytics – Cloudera Using Impala | StatSlice Business Intelligence and Analytics | Business Intelligence and Analytics Dallas | Business Intelligence Training Dallas
This is an overview of the webinar on Cloudera using Impala presented by Brett Neuman on October 22, 2013. For more information on this webinar, click here to view the video or continue reading to below. Overview In this webinar, Brett gives you an overview of Cloudera’s Impala platform and how you can use it in your business. He will present a customer case study and compares query results from I
Choose the best distribution style - Amazon Redshift
When you run a query, the query optimizer redistributes the rows to the compute nodes as needed to perform any joins and aggregations. The goal in selecting a table distribution style is to minimize the impact of the redistribution step by locating the data where it needs to be before the query is run. When you use automatic table optimization, you don't need to choose the distribution style of yo
redshiftのカラムに適切なencodeを設定する
redshiftはいわゆるcolumner型のデータ構造を持っているので、各columnに適切なencode(圧縮)方式を適用することが運用に際して非常に重要になります。 ◯redshiftに任せる redshiftは、当該テーブルへの初回copy時に適切なencodeを自動検出し適用する機能があります（10万レコードからサンプリングし、推定）。最もナイーブな方式としてはこちらに任せる、という方法があります。 適用されたencodeは、以下のクエリーを実行することで確認できます。 select * from pg_table_def where tablename = 'hoge'; ◯analyze compressionを実行した結果を適用する ただし、初回のサンプリングだけでは限界があり、運用を重ねていった結果実情に則さなくなるケースも多いです。 現在蓄えられたデータから最適なenc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Release Notes
LZO encoding - Amazon Redshift