タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

treasuredataとdistributedに関するyukimori_726のブックマーク (1)

  • Treasure Data Update 2015 - Presto - Qiita

    Treasure Dataではfluentd, 各種SDK, Data Connectorなどで収集されたデータに対して、Hive, Prestoによる分散SQLクエリが実行できます。特にPrestoはこの1年で大きく進化しましたので、ここでその内容について紹介していきたいと思います。 Prestoクエリの利用量は増え続けていて、2015年12月現在、Treasure Dataの利用統計では、 1日あたり5万クエリ (月換算で150万クエリ) 1日あたり10兆 (10 trillion) レコード を処理しています。2015年の始まりの時点では、1日あたりおよそ5000クエリ、1兆レコードという数字でしたので、この1年でほぼ10倍になった計算になります。昨年末のPrestoサービスの開始にあたり、CTOの太田と相談して10倍スケールできるように準備をしていたのですが、想定していたより早くこ

    Treasure Data Update 2015 - Presto - Qiita
  • 1