【デブサミ2016】18-B-5レポート Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築

GMOインターネット株式会社 次世代システム研究室 アーキテクト 野田純一氏 （講演資料はSlideShareを参照してください） まず始めに野田氏は、「『つぶやきビッグデータ』ってご存知ですか？」と会場の参加者にアンケートを取りました。これはNHKのテレビ番組内の企画の一つとして放送されているもので、NTTデータ社が作成しています。野田氏はこれをSparkで作ってみよう！ と思い立ち、プロジェクトを進めていきました。 SparkおよびSpark Streamingについて 今回のシステムを構築する上で活用する「Spark」ですが、Hadoopエコシステムの一部として扱われるものの、直接Hadoopと関係しているわけではありません。Sparkについては、RDD（Resilient Distributed Dataset）という抽象化データセットを技術基盤とし、HadoopのMapReduc