タグ

trevniに関するyassのブックマーク (2)

  • Trevni: A Column File Format

    Version 0.1 DRAFT This document is the authoritative specification of a file format. Its intent is to permit compatible, independent implementations that read and/or write files in this format. IntroductionData sets are often described as a table composed of rows and columns. Each record in the dataset is considered a row, with each field of the record occupying a different column. Writing records

  • Impala Q&A - still deeper

    2012/11/7に開催されたCloudera World Tokyoに参加してきました。 編については他の人がまとめてくれるはずですので省略。 懇親会では米国Cloudera社のCTO、Dr. Amr Awadallah氏に直接Impalaの疑問に答えていただきました。非常に貴重な話を聞けたのでまとめておきます。(公開許可済み) その場でメモを取っていたわけではなく思い出しながらのまとめなので、一緒に聞いていた方、clouderaの方は補足をお願いします。 Q&A Q. なぜJavaでなくてC++で実装したか? A. ImpalaのメインデザイナーがGoogleC++を使って分散処理(Dremelのこと?)を実装した人物であるのと、JVMの起動コストがレイテンシーの増加につながるため 補足: この人でしょうか Q. 1ノードに偏ったデータを読む必要があるクエリがくると低レイテンシーを

    yass
    yass 2013/02/06
    "現場ではRCFileの方がよいが、将来的にはtrevniの方がパフォーマンスがよいので推奨。RCFileとtrevniに仕様上の大きな違いはないが、Doug Cuttingによるtrevniの実装が優れている。"
  • 1