この記事はTreasure Data Advent Calendar 9日目の記事です。 今年の10月頃からTreasure DataのBackend Teamで働いています佐々木といいます。 今回はTreasure Dataで動くHadoopの、中からみたすごいところをなるべく私自身の初々しさが残るうちに書いておきたいと思い筆をとりました。 まずはじめにTreasure Dataで動いているHadoopとその周りのアーキテクチャを簡単に紹介したいと思います。 Treasure Data, Architecture Overviewより Treasure Dataはフルマネージドなデータ処理、管理のためのCloudサービスです。Treasure Dataでは上記のように大きく分けて3つの役割を担うコンポーネントたちが存在します。 データの取得(Acquire) データの保持(Store)