単一ノード／マルチコアに最適化した並列分散処理フレームワーク「Asakusa on M<sup>3</sup>BP」、ノーチラステクノロジーズとフィックスターズがオープンソースで公開
単一ノード／マルチコアに最適化した並列分散処理フレームワーク「Asakusa on M3BP」、ノーチラステクノロジーズとフィックスターズがオープンソースで公開 ノーチラステクノロジーズとフィックスターズは、単一ノード上での基幹バッチ処理を並列分散処理基盤で行うことに最適化したフレームワーク「Asakusa on M3BP」（アサクサ エムキューブドビーピー）と、その実行基盤となる「M3 for Batch Processing」（エムキューブド フォー バッチ プロセッシング）を開発し、オープンソースで公開したと発表しました。 単一ノードに最適化されたM3 for BP 大規模なデータに対する複雑な処理を並列分散処理で高速に実行する代表的なソフトウェアにはHadoopやSparkがあります。 しかしHadoopやSparkは数百台から数千台規模のサーバをネットワークで接続したクラスタ環境
Google、Spark/Hadoopのマネージドサービス「Google Data Proc」を正式公開。CPUあたり1時間0.01ドルから
クラウド側でHadoopやSparkの環境を用意してくれるため、利用者はインストールや設定などの手間がなく、すぐに利用できるのが特長。現時点で提供されるHadoopとSparkのバージョンは、「Hadoop 2.7.2」「Spark 1.6.0」。また、「Hive 1.2.1」「Pig 0.15.0」も用意されます。 利用料金は、仮想1CPUあたり1時間0.01ドル（約1円）から。Googleによると起動時間は非常に短く、平均で90秒かそれ以下だとしています。 Googleは大規模データ処理に向けたマネージドサービスとして独自サービスながら非常に高速でスケーラビリティの高い「Google Cloud Dataflow」や「BigQuery」を以前から提供しています。 これらに加えて今回の「Google Data Proc」を提供するのは、オンプレミスや他のクラウドでも使われている標準的なミ
Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016
Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016 日本を代表する規模のビッグデータ処理基盤を持つ企業の1つがYahoo! Japan（以下Yahoo!）です。 同社は2月8日に開催された「Hadooop Spark Conference Japan 2016」において、現在運用中のビッグデータ処理基盤の規模、そして同社が抱えている課題と、それをどう解決していくのかを基調講演の中で示しました。 同社が示した解決方法は、Hadoopなどのビッグデータ処理基盤を使い倒す側から、作る側へ向かうという大胆なものです。同社の貢献はオープンソースとなり、今後さらに多くの課題解決に役立つことになりそうです。 同社データインフラ本部 遠藤禎士（えんどうただし）氏
Spark 2.0はフロントエンドAPIの創設と10倍の性能向上を目指す。早くも今年の5月頃登場予定。Hadoop Spark Conference Japan 2016
Spark 2.0はフロントエンドAPIの創設と10倍の性能向上を目指す。早くも今年の5月頃登場予定。Hadoop Spark Conference Japan 2016 2月8日に都内で開催された、HadoopとSparkをテーマにした国内最大のカンファレンス「Hadoop Spark Conference Japan 2016」の基調講演には、Sparkの開発を進めているDatabricksのReynold Xin氏が登壇。 Xin氏は、現在開発が進んでいるSpark 2.0の概要を紹介しました。セッションの内容をダイジェストで紹介します。 Spark 2.0: What's Next DatabricksのReynold Xin氏（写真左）。
［速報］Hadoopエコシステムの標準化を目指す「Open Data Platform Initiative」設立。Hortonworks、Pivotal、IBMなど
Hortonworks、Pivotal、IBM、GE、SAS、EMC、VMwareなどがHadoopのエコシステムの標準化を目指す団体「Open Data Platform Initiative」の設立を発表しました。 Pivotal データプロダクトグループVPのSundeep Madra氏は、Open Data Platform Initiativeの設立に当たり「Hadoopエコシステムのフラグメンテーションを防ぐ」ためだと説明しました。 「Linuxでは共通のカーネルがあり、これによってアプリケーションは、あるOSで動けばほかでも動くことが分かる。これがLinuxのエコシステムを成長させた。Hadoopもこれにならうことで企業導入の促進と、さらにエコシステムを成長させていくことができる」Madra氏。 これに合わせてPivotalとHortonworksは協業も発表。両社は製品の統
YARNの登場によりHadoopは複数の並列分散処理エンジンを併用できる環境へ。Hadoop Conference Japan 2014
YARNの登場によりHadoopは複数の並列分散処理エンジンを併用できる環境へ。Hadoop Conference Japan 2014 Hadoopに関する国内最大のイベント、「Hadoop Conference Japan 2014」が7月8日に都内で開催されました。 今回のイベントのとりまとめ役でもある日本Hadoopユーザー会 濱野賢一朗氏は、基調講演の1つとしてHadoopがこれからどう進化しようとしているのか、「Hadoopを取り巻く環境」と題して現状をまとめています。講演内容のダイジェストを紹介します。 Hadoopがきっかけで並列分散システムが普及した 日本Hadoopユーザー会 濱野賢一朗氏。 今回の参加登録者数は1296名。アンケートによると約65％がはじめて参加される方で、これはかなり驚きました。このイベントの参加人数が大きく増えたわけではありませんが、裾野が広がって
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
