Apache Sparkの導入検証を行いました －基礎編－ - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 皆さん、こんにちは。マーケティングプラットフォーム本部で広告系製品の開発を担当している渥美です。 現在、弊社では、新たな分析処理基盤である「Apache Spark（アパッチ スパーク）」の導入を検討しており、その一環として以下の検証作業を行いましたので、今回、皆さんにご紹介したいと思います。 SparkおよびSpark Streaming (with Kafka) のパフォーマンス検証 SparkおよびSpark Streamingを使ったサンプルアプリケーション開発 今回は、これらの検証に関する記事の前に、Apache Sparkとはそもそも何なのか？というところを、まずは「基礎編」としてスライドで簡単に解説したいと思います。 スライドの内容 1.Sparkとは 2.RDD 3.実行モ
簡単なデータ操作を PySpark & pandas の DataFrame で行う - StatsFragments
Spark v1.3.0 で追加された DataFrame 、結構いいらしいという話は聞いていたのだが 自分で試すことなく時間が過ぎてしまっていた。ようやく PySpark を少し触れたので pandas との比較をまとめておきたい。内容に誤りや よりよい方法があればご指摘 下さい。 過去に基本的なデータ操作について 以下 ふたつの記事を書いたことがあるので、同じ処理のPySpark 版を加えたい。今回は ひとつめの "簡単なデータ操作〜" に相当する内容。 pandas 版 簡単なデータ操作を Python pandas で行う - StatsFragments Python pandas でのグルーピング/集約/変換処理まとめ - StatsFragments 準備 環境は EC2 に作る。Spark のインストールについてはそのへんに情報あるので省略。サンプルデータは iris を
Sparkを用いたビッグデータ解析 〜 前編 〜
9. MapReduceでWord Count 9 Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua Ut enim ad minim veniam, quis nostrud exercitation ullamco lorem 2 lorem 1 ipsum 1 dolor 1 lorem 1 lorem 1 sit 1 amet 1 consect.. 1 do 1 eiusmod 1 tempor 1 adipisic.. 1 elit 1 sed 1 ipsum 1 ipsum 1 ipsum 1 dolor 1 ipsum 3 sit 1 sit 1 sit 1 dolor 1 si
Apache Spark による推薦システム案件例
2015-03-21 #TokyoWebmining 44th の発表資料です。
2015 03-12 道玄坂LT祭り第2回 Spark DataFrame Introduction
I made a presentation to introduct Spark DataFrame in Tokyo. Read less
AMP Campをひと通りさらってみる：第１回 IntroductionとGetting Started - 元データ分析の会社で働いていた人の四方山話
AMP Campとは？ AMP CampはBerkeleyのAMP Labによるオープンソースのデータ解析用テクノロジースタックであるBDAS (the Berkeley Data Analytics Stack)のBoot Campみたいです。年1回開催されるようで、すでに2014年開催で5回目のようです。ハンズオンなんかが充実しているのでひと通りさらってみました。 IntroductionとGetting Started Camp概要と準備 AMP Campの概要です。ざざっと雰囲気が分かりますが、Sparkのエコシステムがひと通りさらえるようです。で、PrerequisitesのAssumptionに"You have experience using the core Spark APIs"とかあって、BootCampのくせに経験者対象かよ、という感じですが、その下にIntrodu
[Apache Spark]ストリーミング処理で直近の人気ハッシュタグを取得する | DevelopersIO
はじめに Apache Sparkの用途の一つとして、ストリーミング処理があります。今回はその例として、Twitterから直近の人気のハッシュタグを取得する処理を取り上げてみたいと思います。 処理の流れと用語について ソースをお見せする前に、大まかな処理の流れと、用語について説明したいと思います。先ず処理の流れですが、以下のようになります。 Streamの作成 ハッシュタグを持つRDDの取得 DStreamの取得 DStream内のRDDよりハッシュタグを取得 見慣れない用語ばかりかと思いますが、以下で処理の流れに沿って解説したと思います。 1.Streamの作成 データを連続して取得するためのStreamを作成する処理です。今回はTwitterよりデータを取得するストリームを作りますが、他にも Kinesis、Kafka、Flume、ZeroMQ、TCPなどから取得することが出来るようで
![[Apache Spark]ストリーミング処理で直近の人気ハッシュタグを取得する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/976e6989ab538c58fa5b64a03837c916f8d9ba11/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FApache_Spark.png)
District Data Labs - Getting Started with Spark (in Python)
Hadoop is the standard tool for distributed computing across really large data sets and is the reason why you see "Big Data" on advertisements as you walk through the airport. It has become an operating system for Big Data, providing a rich ecosystem of tools and techniques that allow you to use a large cluster of relatively cheap commodity hardware to do computing at supercomputer scale. Two idea
Best Practices | Databricks Spark Knowledge Base
Return to book Review this book About the author Knowledgebase 1. Best Practices 1.1. Avoid GroupByKey 1.2. Don't copy all elements of a large RDD to the driver 1.3. Gracefully Dealing with Bad Input Data 2. General Troubleshooting 2.1. Job aborted due to stage failure: Task not serializable: 2.2. Missing Dependencies in Jar Files 2.3. Error running start-all.sh - Connection refused 2.4. Network c
Spark on Dockerで分散型機械学習を始める - Part2: UbuntuでIPython Notebookを使う - Qiita
Spark on Dockerで分散型機械学習を始める - Part2: UbuntuでIPython Notebookを使うhadoopSpark機械学習ipython_notebook sequenceiq/sparkのDockerイメージはCentOS 6.5を使っているので、そのままではIPythonのインスト-ルに失敗してしまいます。SequenceIQにはUbuntuのbaseimageもあります。これから自分でSparkのDockerfileを作ろうと思いましたが、ちょどよいイメージがLogBaseInc/docker-spark-ipythonがありました。 このシリーズ Spark on Dockerで分散型機械学習を始める - Part 1: インストール Spark on Dockerで分散型機械学習を始める - Part 2: UbuntuでIPython Note
Spark on Dockerで分散型機械学習を始める - Part1: インストール - Qiita
日経BPのITインフラテクノロジーAWARD 2015が発表されました。2015年にブレークすると予想されるクラウドやビッグデータの製品やサービスを選出しています。グランプリにDocker、準グランプリにApache Sparkが選ばれました。Sparkは2014年に入り盛り上がってきています。インメモリで高速に分散処理ができるため、機械学習のような繰り返し処理に向いています。MLibの機械学習ライブラリもあるので分散型機械学習フレームワークとして注目を集めています。そんなDockerとSparkを使い手軽に分散型機械学習の環境をつくり勉強していこうと思います。 このシリーズ Spark on Dockerで分散型機械学習を始める - Part 1: インストール Spark on Dockerで分散型機械学習を始める - Part 2: UbuntuでIPython Notebookを使
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Spark チュートリアル
GitBook – Knowledge management for technical teams
HivemallとSpark MLlibの比較
DMM.com - DMMのビッグデータ分析のご紹介 ～Sparkによるリアルタイムレコメンド～
GitHub - deanwampler/spark-scala-tutorial: A free tutorial for Apache Spark.
https://qiita.com/kuenishi/items/71b3cda9bbd1a0bc4f9e
Hadoop、Spark、ビッグデータ関連書籍 | Tech Blog
http://blog.yoslab.com/entry/2015/02/07/005533
http://blog.yoslab.com/entry/2015/01/29/225938
