やっぱりビジネスパーソンも、おさえておきたい 機械学習やソーシャル分析を支えるビッグデータ基盤Apache Spark
やっぱりビジネスパーソンも、おさえておきたい 機械学習やソーシャル分析を支えるビッグデータ基盤Apache Spark ビジネスや社会活動におけるビッグデータの重要性が益々高まる中で、それを支えるテクノロジーとして、大規模データの分散処理フレームワーク「Apache Hadoop」が注目を集めてきた。一方で、Hadoopを活用したシステム開発の難易度の高さや用途による得意・不得意も浮き彫りになってきた。 そこで関心が高まっているのが、Hadoop環境をベースとしても動作する分散処理フレームワークの「Apache Spark」である。Hadoopと同様に大規模データの分散処理に対応しながら、Hadoopが不得意とする領域での性能を向上させると共に、従来よりも容易に開発できる環境を整えた。2015年6月には、IBMが「今後10年間で最も重要なオープンソースプロジェクト」と位置付けて、大規模なリ
Apache Spark Streaming＝大規模準リアルタイムストリーム処理？ - 夢とガラクタの集積場
こんにちは。 Sparkについて調べてみよう企画第２段（？）です。 １回目はまずSparkとは何かの概要資料を確認してみました。 その先はRDDの構造を説明している論文と、後Spark Streamingというストリーム処理基盤の資料がありました。 とりあえず、そんなわけで（？）お手軽に概要がわかりそうなSpark Streamingの方を調べてみました。 まず見てみた資料は「Overview of Spark Streaming」（http://spark.incubator.apache.org/talks/strata_spark_streaming.pdf）です。 というわけで、読んだ結果をまとめてみます。 Spark Streamingとは何か？ 大規模ストリーム処理フレームワーク ・100オーダーのノードにスケールする ・秒単位のレイテンシで処理を実行可能 ・Sparkのバッチ
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編）
Apache Sparkがスループットとレイテンシを両立させた仕組みと最新動向を、SparkコミッタとなったNTTデータ猿田氏に聞いた（前編） 最近ビッグデータ処理基盤として急速に注目を集めているのが「Apache Spark」です。 Sparkは、Hadoopと比較されることも多く、Hadoopよりも高速かつ高機能な分散処理基盤だと言われています。Sparkとはいったい、どのようなソフトウェアなのでしょうか？ 今年6月にSparkのコミッタに就任したNTTデータの猿田浩輔氏に聞きました。 以下は猿田氏から伺ったSparkの紹介をまとめたものです。また、後編では猿田氏がコミッタになった経緯などもインタビューしました。 Hadoopでは複雑な処理に時間がかかる Sparkとはなにかの前に、まずはHadoopの話から始めさせてください。 Hadoopとは、ざっくり言うと分散処理フレームワーク「
Apache Hadoop エコシステム を中心とした分散処理の今と未来
Copyright©2015 NTT corp. All Rights Reserved. Apache Hadoop エコシステム を中心とした分散処理の今と未来 小沢 健史 ozawa.tsuyoshi@lab.ntt.co.jp ozawa@apache.org 2 Copyright©2015 NTT corp. All Rights Reserved. • 処理基盤の意義 • MapReduce の動向と進化 • MapReduce の概要 • MapReduce の課題と解法 • 分散処理基盤の動向 • Google の処理基盤スタック • Microsoft の処理基盤スタック • オープンソースの処理基盤スタック • オープンソース開発 • なぜ会社として貢献するか • 活動内容 • 面白かったこと，大変なこと • これからの目標 アジェンダ 3 Copyright©201
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
