[B! Spark][Twitter] J138のブックマーク

J138 id:J138

SparkとTwitterに関するJ138のブックマーク (2)

Scala SparkでTwitterのストリーミング処理テスト on Vagrant Ubuntu 14.04 - Qiita
やること Vagrant up Twitterアプリケーション作成準備 Install Scala (and sbt) Sparkの外部ライブラリのダウンロードなど実装 Apache Sparkで始めるお手軽リアルタイムウインドウ集計そのメモ概要基本的に(1)のサイトに沿って実装していきますが，ハマった部分の解説を足していこうと思います．元々やりたかったことは # -*- mode: ruby -*- # vi: set ft=ruby : # Vagrantfile API/syntax version. Don't touch unless you know what you're doing! VAGRANTFILE_API_VERSION = "2" Vagrant.configure(VAGRANTFILE_API_VERSION) do |config| config
J138 2015/04/06
Spark

Scala

Twitter
リンク
[Apache Spark]ストリーミング処理で直近の人気ハッシュタグを取得する | DevelopersIO
はじめに Apache Sparkの用途の一つとして、ストリーミング処理があります。今回はその例として、Twitterから直近の人気のハッシュタグを取得する処理を取り上げてみたいと思います。処理の流れと用語についてソースをお見せする前に、大まかな処理の流れと、用語について説明したいと思います。先ず処理の流れですが、以下のようになります。 Streamの作成ハッシュタグを持つRDDの取得 DStreamの取得 DStream内のRDDよりハッシュタグを取得見慣れない用語ばかりかと思いますが、以下で処理の流れに沿って解説したと思います。 1.Streamの作成データを連続して取得するためのStreamを作成する処理です。今回はTwitterよりデータを取得するストリームを作りますが、他にも Kinesis、Kafka、Flume、ZeroMQ、TCPなどから取得することが出来るようで
J138 2015/03/23
Twitter

Spark
リンク
1