The Pros and Cons of Running Apache Spark on Kubernetes | Spot.io
Jean-Yves Stephan Senior Product Manager, Ocean for Apache Spark Apache Spark is an open-source distributed computing framework. In a few lines of code (in Scala, Python, SQL, or R), data scientists or engineers define applications that can process large amounts of data, Spark taking care of parallelizing the work across a cluster of machines. Spark itself doesn’t manage these machines. It needs
Pythonで大量データ処理！�PySparkを用いたデータ処理と分析のきほん
PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark
楽しい可視化 ： elasticsearchとSpark Streamingの出会い | NTTデータ先端技術株式会社
0. ログやデータを取得した後は？ ログやデータの分析には、様々なアプローチが考えられるが、Apache Solrやelasticsearchといった全文検索エンジン製品にデータを蓄積し、その機能を用いて検索・集計・分析を行う方法がある。その際、データをそのまま蓄積するのではなく、各ツイート・各行に属性を付与（エンリッチメント）することにより、分析の幅は大きく広がる。 全文検索エンジンへのデータの投入では、Flume-ngやfluentdといったデータ収集製品を利用する実例が多い。しかし、リアルタイムにデータに対してエンリッチメントの前処理を行おうとした場合、処理が複雑になるにつれ、単体サーバーで動作するFlume-ngやfluentdでは処理能力が頭打ちになってくる。そこで、登場するのが、リアルタイムに大量のデータを処理することができるストリーミング処理系のビッグデータ関連技術である。
EMR上でPython3系でpysparkする - Qiita
概要 機械学習・データサイエンスといえばpython（numpy/iPython/scikit-learn）なのでpythonで書いていきたい。 しかし、仕事柄大規模なデータを扱うことになるので、分散できるsparkのAPIで取り扱いたい。 ということで（EMR）クラスタ上でpysparkを動かしてみます。 今からpython学ぶなら３系だろうということで３系（Anaconda3-4.0）で動かします。 不安だったので確認したけど、sparkは1,4からpython3系に対応してますね。 手順 基本的にこちらの記事を参考にしました。丁寧に書かれていて素晴らしいです。 Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第1回：環境構築編) スクリプト準備 EMRクラスタ立ち上げ iPython Notebook起動 動作確認 スクリプト準
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
What's new in Apache Spark 3.0 - join skew optimization
https://developer.download.nvidia.com/video/gputechconf/gtc/2020/presentations/s22674-accelerating-apache-spark-3.0-with-rapids-and-gpus.pdf
Updates from Project Hydrogen: Unifying State-of-the-Art AI and Big Data in Apache Spark
GitHub - pambot/ozymandias: Real-time image processing at scale using Kafka and Spark Streaming
GitHub - lifeomic/sparkflow: Easy to use library to bring Tensorflow on Apache Spark
TensorFlow on Spark 2.3: The Best of Both Worlds
Hive on Spark の設計指針を読んでみた
メキメキ開発の進む Apache Sparkのいまとこれから （Spark Casual Talk #1 発表資料）