Apache SparkでカスタムStreamingする - もょもとの技術ノート

はじめに Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita 3日目の記事です。 SparkでカスタムStreamingする方法を紹介します。 TwitterやFlumeなどのSpark Streamingの活用例が下記にあります。 spark/examples/src/main/scala/org/apache/spark/examples/streaming at master · apache/spark · GitHub spark/external at master · apache/spark · GitHub これらは、いろいろ利用できそうですね。 一方で、オリジナルのStreaming処理を行いたい場合には、 Sparkが提供するReceiverクラスを拡張する必要があります。 この記事では、Receiverクラス

[azihsoyn]

memo

[letusfly85]

spark flume

[kimutansk]

なんでもストリーム化できるので使える幅は広そうですね。Receiverは参考になります。

[kasumani]

Apache SparkでカスタムStreamingする Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita 3日目の記事です。 SparkでカスタムStreamingする方法を紹介します。 Tags: feedly, ifttt, recently read, saved for later from Pocket December 03, 2014 at 01:15PM via IFTTT

[nobusue]

オリジナルReceiverの話 情報少ないのでありがたいです