Logをs3とredshiftに格納する仕組み1. LogをS3と Hive Redshi/ に 格納する仕組み 2013年5月22日 株式会社ゆめみ 森下 健 mokemokechicken@twi;er 1 2. 作るきっかけ アプリケーションログをMySQLに保存している （調査目的） MySQLだとスケールしない S3やHadoop(Hive)上に保存しよう （スケールしそう） 2 １００〜２００Write/sec くらいでキツイ
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
2. Amazon Redshift では、 1.2TB のデータへのクエ リの処理に対し、処理時間が 155 秒 Hadoop + Hive では、 1.2TB のデータへのクエリの 処理に対し、処理時間が 1491 秒 Amazon Redshift ： 10 倍の処理速度 Amazon Redshift の運用コストは 30 分に一回の頻 度でクエリを処理する場合、一日あたり $20 Hadoop + Hive の運用コストは 30 分に一回の頻度 でクエリを処理する場合、一日あたり $210 Amazon Redshift ： 10 倍のコストパフォーマ ンス 3. Amazon Redshift は、クラウドビッグデータの新 しいデータウェアハウス。 Redshift の登場までは 、テラバイトを超える処理には、 Hadoop を用い る必要があった。 今回、 Redshift
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
