タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

ansibleとhiveに関するyassのブックマーク (1)

  • PrestoとかAnsibleとかその辺の話を軽く書いてみる - wyukawa's diary

    今日はPrestoとかAnsibleとかその辺の話を軽く書いてみようと思います。突っ込んだ話が出来るわけではないのであしからず。 僕のところの環境ではPrestoを使っていて、PrestoはDataNodeやNodeManagerと同居してます。主なユースケースはアドホッククエリの実行です。とあるレポートを作りたいってなったときにデータの中身をチェックするのに使います。従来だとこれがHiveだったのですが、HiveだとMapReduceになって遅いので(ローカルモードで済む場合もあるけど)、その点Prestoは早くていいです。ただこれは僕の環境がスモールデータだからっていうのもあって、圧縮済み数百GBのデータに対してselectかけるとかだとPrestoといえども遅くなると思います。あとなにげに良いのがPresto CLI経由だとカラム名が表示されるのでどのデータがどのカラムなのかすぐ分か

    PrestoとかAnsibleとかその辺の話を軽く書いてみる - wyukawa's diary
    yass
    yass 2014/08/03
    " 以前は集計用RDBMSは必要かなあと思ってたんですけど、集計データを単純にselectするようなケースだったらPrestoでも十分速いので集計用RDBMSは無くてもいいかもって思い始めてます。"
  • 1