[B! flume] hohoho_ho2005のブックマーク

Apache FlumeとSpark Streaming - もょもとの技術ノート

はじめに Flumeから流れてきたデータをSpark Streamingする。実現したいことのイメージ。 netcatサーバーでデータ生成 Flumeはクライアントからデータを受け取り、Sparkに流し込む Spark Streamingでデータを集計環境 Scala IDE for Ecipse : 2.10.4 flume-ng-sdk-1.3.1.jar spark-assem bly-1.1.0-hadoop2.4.0.jar spark-streaming-flume_2.10-1.1.0.jar spark-streaming-flume-sink_2.10-1.1.0.jar Spark Streamingを開始するソースコードはSparkのサンプルコードをもとに作成。 spark/FlumeEventCount.scala at master · apache/spar

hohoho_ho2005 2015/01/25

spark
flume

リンク

Flume Agent -> Flume Aggregator -> Elasticsearchの設定 – OpenGroove

過去記事でFlumeからElasticsearch（以下ES）にデータを送る、というのをやってみた。このときは送信元 Flume -> ES という風に直接送信していたが、real world では「送信元 -> 集約ノード -> データストア」の構成をとるケースが多いと思われる。 Flumeで複数のデータフローをまたがる場合の決め事として、各フローのつなぎ目に相当する部分のインターフェースがavroプロトコルになる（thriftもOKだったかな）。つまり、送信元のsink typeと, 受け取る側のsource typeは共にavroとする。このつなぎによるデータフローは、任意に増やすことが可能。よって、中継するだけのノードはsource type, sink typeともにavroになるはず。と、説明だけ書いても実際どうするのよ、という話なので集約ノードを通す場合の設定例を挙げてお

hohoho_ho2005 2014/07/17

リンク

Apache Flume 1.5を活⽤したAmebaにおけるログのシステム連携

1. Apache Flume 1.5 を活⽤用した Amebaにおけるログのシステム連携アメーバ事業本部 Ameba Techno logy Laboratory 飯島賢志 2014.07.08 3. 3 株式会社サイバーエージェント⾃自⼰己紹介 ● 飯島賢志 ● (株)サイバーエージェント Ameba Techno logy Laboratory ● Hadoop/Hiveを⽤用いたログ解析基盤の運⽤用 AmebaサービスのFlumeの運⽤用いいじまさとし 5. 5 l  ⾼高い信頼性や可⽤用性を備え、⼤大量量のログを効率率率的かつ柔軟に分岐・統合して転送できる l  元々Clouderaの1プロジェクトでCDHでもサポート l  Source(⼊入⼒力力), Channel(キュー), Sink(出⼒力力)の3

hohoho_ho2005 2014/07/10

flume

リンク

FlumeからElasticsearchにデータを送る – OpenGroove

いわゆるログ収集プロダクトとしては言うまでもなくFluentdが大人気なわけだが、個人的には国内では今いちマイナーなFlumeもよいプロダクトだと思っている。堅牢だし、「sink」という単位でフローを組み合わせる概念は分かりやすい。で、タイトルの件。FluentdからElasticsearchにログ送信する、というのは過去記事でもやっていて簡単にできることは分かってるのだが、Flumeにもelasticsearch sink機能があるのでやれるはずだ！とやってみた。実行環境は以下の通り。どちらもJDK1.7を導入済み。データ送信ノード：Amazon EC2 m1.small, CentOS6.5, flume-ng-agentをインストール ElasticSearchノード：Amazon EC2 m1.mideum, CentOS6.5, elasticsearchをインストール本

hohoho_ho2005 2014/07/07

リンク