ブックマーク / marblejenka.blogspot.com (2)

  • Tezの特性について

    とりあえずいまのところの理解をまとめておこうかと思います。 ご参考 http://www.infoq.com/presentations/apache-tez http://qconsf.com/system/files/presentation-slides/Apache-Tez-Accelerating-Hadoop-Query-Processing.pdf まず、先のリンク先の動画の冒頭のところで言及されているように、TezそのものはYARNにおける並列処理エンジンについてMapReduceの代替となること意識しているようです。その意味では、Tezを近年にみられるImpalaなどのリアルタイムクエリ系と同列にHiveのパフォーマンスを向上させるものだけであると見るのはあまり妥当ではなさそうです。 また、資料ではStreamingを将来においてサポートすると言っていて、Tezだけででラ

    Tezの特性について
  • Hadoop Source Code Reading #17でしゃべりました

    Hadoop Source Code Reading #17 from Shingo Furuyama という内容でしゃべってきました。なにげに勉強会的なものに出席するのもしゃべるのも久しぶりでした。 内容についてはこちらを参照いただければと。たいへんよいまとめでそういえばこういう話をしていたなあというふりかえりに役立ちました。 中身については、特別言い残したこともなく、とりあえず現時点での僕の理解は大体スライドに入れることができました。しいて言うと、というか普通にHive/Tezまわりの話は期待されていたようなのですが、別にHiveとかそんなに好きじゃないんで、この豚野郎! Hive/Tezについては、TwitterをちらみしたらIn Productionな広告関連のナウいベンチャーがあるようなので、そちら方面からはおいおい情報が出てくるのではないかと思います。Tez vs MapRed

  • 1