Jean-Yves Stephan Senior Product Manager, Ocean for Apache Spark Apache Spark is an open-source distributed computing framework. In a few lines of code (in Scala, Python, SQL, or R), data scientists or engineers define applications that can process large amounts of data, Spark taking care of parallelizing the work across a cluster of machines. Spark itself doesn’t manage these machines. It needs
PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark
0. ログやデータを取得した後は? ログやデータの分析には、様々なアプローチが考えられるが、Apache Solrやelasticsearchといった全文検索エンジン製品にデータを蓄積し、その機能を用いて検索・集計・分析を行う方法がある。その際、データをそのまま蓄積するのではなく、各ツイート・各行に属性を付与(エンリッチメント)することにより、分析の幅は大きく広がる。 全文検索エンジンへのデータの投入では、Flume-ngやfluentdといったデータ収集製品を利用する実例が多い。しかし、リアルタイムにデータに対してエンリッチメントの前処理を行おうとした場合、処理が複雑になるにつれ、単体サーバーで動作するFlume-ngやfluentdでは処理能力が頭打ちになってくる。そこで、登場するのが、リアルタイムに大量のデータを処理することができるストリーミング処理系のビッグデータ関連技術である。
概要 機械学習・データサイエンスといえばpython(numpy/iPython/scikit-learn)なのでpythonで書いていきたい。 しかし、仕事柄大規模なデータを扱うことになるので、分散できるsparkのAPIで取り扱いたい。 ということで(EMR)クラスタ上でpysparkを動かしてみます。 今からpython学ぶなら3系だろうということで3系(Anaconda3-4.0)で動かします。 不安だったので確認したけど、sparkは1,4からpython3系に対応してますね。 手順 基本的にこちらの記事を参考にしました。丁寧に書かれていて素晴らしいです。 Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第1回:環境構築編) スクリプト準備 EMRクラスタ立ち上げ iPython Notebook起動 動作確認 スクリプト準
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く