Spark/PySparkでツイート分析してみた

Twitter Streaming APIでかき集めたツイートをSparkで分析してみました。 Hadoop版はこちら→Hadoop Streamingでアイドルツイート分析 Hive版はこちら→Hiveでツイート分析 環境 OS: Mac OS X(El Capitan) Python: 2.7.11 Hadoop: 2.7.1 インストール こんな感じでPrebuild for Hadoop 2.6 or laterをダウンロード、インストールします。 $ cd /usr/local $ wget http://ftp.jaist.ac.jp/pub/apache/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz $ tar xvf spark-1.6.1-bin-hadoop2.6.tgz $ mv spark-1.6.1-bin-had