GoogleAnalyticsからの脱却!!Hadoop+Hive+flumeでの解析基盤の構築(後編...こんにちは、レバレジーズデジタルアナリティクスチームです。 前回の記事、【GoogleAnalyticsからの脱却!!Hadoop+Hive+flumeでの解析基盤の構築(前編)】では、ログ層、集約層、集計層について、概念的なものを説明しました。今回はもう少し詳細に、それらのデータ階層にどのようにデータを格納するか、どんなミドルウェアを使って実装しているのかを説明したいと思います。 ■ログの3階層におけるアーキテクチャ・設計思想では早速、階層ごとに、構築時に考慮したことや用いたミドルウェア等について簡単にご紹介します。 ●ログ層ログ層においては、【プロジェクト側がログを送信する】【ログを受け取って取り出せるようにする】ことが出来れば目的は果たせるので、このログ層では【Flume】と【Hive】を使用します。 ・Flume Flumeはログを転送するためのミドルウェアです。 ※説明はこちら⇒
