勉強会メモ - Machine Learning with Apache Spark - よしだのブログ

どうも！今日も勉強会に参加していますーので、勉強会メモを公開します。@yamakatu さんがお休みで残念！ 「はじめまして、Spark＆MLlib 」 株式会社 NTT データ 土橋さん hadoop はスループットを重視しているため、レイテンシの低さが求められる処理や、複雑で繰り返しが多い処理は苦手だった。 すなわち、統計処理、機械学習、複雑な業務処理などの中には上記のような類の処理が含まれていることがあった。 OSS は使いドコロ。適材適所 Spark はレスポンスとスループットのバランスがとれている、Storm はレスポンス重視。 Sparkの特徴 IOコストを減らして、メモリを使って素早く処理する。 Sparkは「柔軟な」分散処理基盤 -> MapReduce の隠蔽による普通っぽいプログラミング データを上手く扱うための抽象化の仕組みがある -> RDD による、普通っぽいコレ