『Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました』

(この記事は、Hadoop Advent Calender 2013 の12日目の記事です) こんにちは、Amebaのログ解析基盤Patriotの運用をしている、鈴木(@brfrn169)と柿島大貴です。 Patriotについては以下をご覧ください。 http://ameblo.jp/principia-ca/entry-10635727790.html http://www.slideshare.net/cyberagent/cloudera-world-tokyo-2013 今回、Amebaのログ解析基盤PatriotにCloudera ImpalaとPrestoを導入しました。 Cloudera ImpalaとPrestoのインストール方法や詳細ついては、下記URLをご覧ください。 Cloudera Impala http://www.cloudera.com/content/clo

[akuwano]

Amebaのエンジニアブログであり、Hadoop Advent Calender 2013 の12日目でもある記事、、、だと、、、？

[sonota88]

2013

[tanakama]

[impala]

[YuichiTanaka]

prestoの事例

[yass]

" CPU Xeon E5-2650L 0 @ 1.80GHz * 2 / ディスク SATA 3TB × 12本（JBOD）, SAS300GB * 2 (RAID1) / メモリ 96GB（ メモリの内訳は DataNode 4GB, TaskTracker 1.5GB, RegionServer 8GB, Cloudera Impala 5GB, Presto 5GB, その他 MapReduceのスロット用、OS用）"

[madarax11]

Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました - サイバーエージェント 公式エンジニアブログ

[kimutansk]

この位の規模だとImparaの方が早いと、ただ、「本番環境のスペック、大量データで実際に両者を使用して比較をしたほうがよい」は大事なスタンスですね

[riywo]

head速いのはいいねぇ