20160322 bdi
20160322 bdi 1. Spark as a Compiler + SQL Codegen Researches 2016.3.22 maropu@BDI 2. SparkSQL codegen h<ps://issues.apache.org/jira/browse/SPARK-‐12795 • Sparkers currently developing whole-‐stage codegen under a JIRA Pcket, SPARK-‐12795 – a part of the Project Tungsten bringing Spark to bare-‐metal – fusing a sub-‐tree of operators (stages) into a single efficient funcPon • A quick overvie
「Hadoop/Spark Conference Japan 2016」で小沢健史PMCが語った“YARNのいま” | gihyo.jp
「Hadoop/Spark Conference Japan 2016」で小沢健史PMCが語った“YARNのいま” 2013年10月にHadoop 2.2が正式リリースされて以来、Hadoopの世界は大きく変わりました。それまでの概念である「Hadoop＝ HDFS＋MapReduce」が刷新され、MapReduceが受け持っていたMapデータ処理とクラスタリソース管理が分離できるようになりました。これにより、SparkなどMapReduce以外のデータ処理エンジンがHadoop上で利用可能になりました。 そしてHadoopのクラスタリソース管理を行うミドルウェアとして、新たなデファクトスタンダードの地位を確立しようとしているのが「Apache Hadoop YARN（Yet Another Resource Negotiator： YARN）」です。YARNの登場は並列分散処理にどん
Hadoopユーザー会が2月8日にカンファレンス、Sparkの主要開発者などが講演
日本Hadoopユーザー会が2016年2月8日に東京都品川区で、オープンソースソフトウエア（OSS）の分散処理ソフト「Hadoop」や「Spark」のユーザー会議「Hadoop / Spark Conference Japan 2016」を開催する（募集サイト）。参加費は無料。米Clouderaや米Databricksの開発者や、Hadoop/Sparkの日本人コミッタ、ユーザー企業などが講演する。 2009年に第1回が開催された同カンファレンスは今回が6回目で、今回から「Hadoop Conference Japan 2016」と「Spark Conference Japan 2016」の併催となった。Sparkはカリフォルニア大学バークレー校の「AMPLab」から生まれたOSSで、Hadoopの後継ソフトとして米国だけでなく日本でも利用が広がり始めている。 カンファレンスではHadoo
YARN、HDFS、そしてSparkの将来像とは：「Hadoop/Spark Con」基調講演
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 日本Hadoopユーザー会は2月8日、東京都品川区で「Hadoop Conference Japan 2016」を開催した。第6回目となる今回のイベントでは「Spark Conference Japan 2016」が初めて併催され、キーノートにはApache Sparkの主要開発者であるXin Reynold氏も登壇。2016年にリリース予定のSparkの次期バージョン「Spark 2.0」の最新情報を紹介した。今回の参加登録者数は1347人で、そのうち63%が初参加だという。この記事では、同イベントのキーノートの様子をレポートする。 Apache Hadoopは、大規模データの分散処理を行うオープソースのミドルウェア。分散ファイルシス
Hadoop / Spark Conference Japan 2016、2月8日に開催 | gihyo.jp
日本Hadoopユーザー会は、Apache Hadoop、およびApache Sparkに関するイベント「Hadoop Conference Japan 2016」「Spark Conference Japan 2016」を2月8日（月）に東京、大井町のきゅりあんにて開催する。国内外のエキスパートによるHadoopや並列分散処理に関する最新の講演やセッションが多数予定されている。入場は無料。参加申し込み、プログラムの内容はイベントページから。 開催概要は以下のとおり。
[SPARK-10324] MLlib 1.6 Roadmap - ASF JIRA
Following SPARK-8445, we created this master list for MLlib features we plan to have in Spark 1.6. Please view this list as a wish list rather than a concrete plan, because we don't have an accurate estimate of available resources. Due to limited review bandwidth, features appearing on this list will get higher priority during code review. But feel free to suggest new items to the list in comments
[SPARK-7078] Cache-aware binary processing in-memory sort - ASF JIRA
A cache-friendly sort algorithm that can be used eventually for: sort-merge join shuffle See the old alpha sort paper: http://research.microsoft.com/pubs/68249/alphasort.doc Note that state-of-the-art for sorting has improved quite a bit, but we can easily optimize the sorting algorithm itself later.
Spark Casual Talk #1 に行ってきました — Elliptium
Spark Casual Talk #1 に行ってきました 最近データ解析や機械学習で色々と話題な Apache Spark ですが, その勉強会があるというので行ってきました. 一般枠が 123 人のところに 150 人の申し込みがあり, Spark が注目されているのが分かります. 勉強会の構成は, 発表が 2 つと LT が 6 本で 2 時間というものでした. 名前に casual とある通り, これから Spark に触れようという人でも気軽に参加できる内容だったと思います. (一部の LT は除く^-^;) イベントページ: http://connpass.com/event/15575/ Togetter: http://togetter.com/li/838406 気になった話題 個人的に気になった話題について書いていきます. 個々の内容については, イベントページにアップ
Spark at Twitter - Seattle Spark Meetup, April 2014
Spark at Twitter - Seattle Spark Meetup, April 2014 The document discusses the results of a study on the impact of climate change on coffee production. Researchers found that suitable land for coffee production could decline by up to 50% by 2050 due to rising temperatures and changing rain patterns associated with climate change. Arabica coffee was found to be most at risk, as its growing regions
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Five cool ways the JVM can run Apache Spark faster
Spark Pull Requests
SparkとHadoopは友だちである、敵ではない | TechCrunch Japan
[SPARK-7079] Cache-aware external sort - ASF JIRA
Real-time Recommendations using Spark Comcast Labs
Deeplearning 4 j のクイックスタートガイド - Deeplearning4j: Open-source, Distributed Deep Learning for the JVM
Project Tungsten: Bringing Apache Spark Closer to Bare Metal
https://people.eecs.berkeley.edu/~keo/publications/nsdi15-final147.pdf
https://people.eecs.berkeley.edu/~kubitron/courses/cs262a-F13/projects/reports/project16_report.pdf
Apache Spark the Fastest Open Source Engine for Sorting a Petabyte
GitHub - databricks/spark-perf: Performance tests for Apache Spark
