タグ

ブックマーク / doryokujin.hatenablog.jp (1)

  • Treasure Data Analytics 第2回 〜Treasure Data Cloud Warehouse について(後編)〜 - doryokujin's blog

    はじめに Treasure Data Cloud Warehouse(前編)では,サービスの概観を紹介しました。第2回では,実践的なデータ・アナリティクスを行う上で解決しなければならない問題をTreasure Dataではどのように解決しているのか,具体的に述べていきたいと思います: データ収集の問題:様々な種類のログをどのようにデータを集約・収集して,横断的な解析を可能にするか? ストレージの問題:増え続けていく大量のログを,どこに,どのようなフォーマットで,解析可能な状態のまま保管していくか? 解析結果の活用に関する問題:ログを解析した結果を,どのように可視化するか。あるいはどのように既存のシステムに統合・フィードバックしていくのか? 1. データ収集の問題 図1: fluentd はログ解析の前段,ログ収集における問題を解決してくれる 「解析対象のログを収集してくる」という作業は

    Treasure Data Analytics 第2回 〜Treasure Data Cloud Warehouse について(後編)〜 - doryokujin's blog
  • 1