タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

SparkとTwitterに関するJ138のブックマーク (2)

  • Scala SparkでTwitterのストリーミング処理テスト on Vagrant Ubuntu 14.04 - Qiita

    やること Vagrant up Twitterアプリケーション作成準備 Install Scala (and sbt) Sparkの外部ライブラリのダウンロードなど 実装 Apache Sparkで始めるお手軽リアルタイムウインドウ集計 そのメモ 概要 基的に(1)のサイトに沿って実装していきますが,ハマった部分の解説を足していこうと思います. 元々やりたかったことは # -*- mode: ruby -*- # vi: set ft=ruby : # Vagrantfile API/syntax version. Don't touch unless you know what you're doing! VAGRANTFILE_API_VERSION = "2" Vagrant.configure(VAGRANTFILE_API_VERSION) do |config| config

    Scala SparkでTwitterのストリーミング処理テスト on Vagrant Ubuntu 14.04 - Qiita
  • [Apache Spark]ストリーミング処理で直近の人気ハッシュタグを取得する | DevelopersIO

    はじめに Apache Sparkの用途の一つとして、ストリーミング処理があります。今回はその例として、Twitterから直近の人気のハッシュタグを取得する処理を取り上げてみたいと思います。 処理の流れと用語について ソースをお見せする前に、大まかな処理の流れと、用語について説明したいと思います。先ず処理の流れですが、以下のようになります。 Streamの作成 ハッシュタグを持つRDDの取得 DStreamの取得 DStream内のRDDよりハッシュタグを取得 見慣れない用語ばかりかと思いますが、以下で処理の流れに沿って解説したと思います。 1.Streamの作成 データを連続して取得するためのStreamを作成する処理です。今回はTwitterよりデータを取得するストリームを作りますが、他にも Kinesis、Kafka、Flume、ZeroMQ、TCPなどから取得することが出来るようで

    [Apache Spark]ストリーミング処理で直近の人気ハッシュタグを取得する | DevelopersIO
  • 1