ビッグデータ分析の勘所─Treasure Dataイベントで見えたデータサイエンスのノウハウ | gihyo.jp

その中からTreasure Data（以下、TD）のデータ分析ノウハウについて語った田村氏、柄沢氏の発表をピックアップしてレポートします。 データを集めるのはたいへん 1つめに挙げた課題はデータ収集の問題です。田村氏は、いざデータ分析を始めてみると、集めたデータに間違いがあって、正しく集計、分析ができないということがよく起きると言います。 その原因の1つは、アプリケーションを修正した結果、出力するログが変わっていたというものです。データ分析の現場では、「⁠業務でデータを集める人」と「データを分析する人」が異なるというのはよくあるそうです。そのため、前述のようにほかの担当者がログを分析していることをあまり意識せずに、アプリケーション開発担当者がログの内容を変更してしまうということが起こるのです。 また、データを集めるしくみが複雑過ぎる、というのも一因です。一般的にどんなサービスでも、複数のデ

[okasan77]

そのため，データ基盤の整備は後回しにされやすいです。しかし，田村氏は「ないデータを分析することはできない」ということも忘れてはいけない，と指摘します。データ分析を始めたいと思ったときにそこからデータを

[waniji]

"スキーマを決めてしまったログは，項目を増やしたいときに容易に対応ができません"

[hotoku]

.....〆(・ω・｀)ﾒﾓﾒﾓ