Google、ビッグデータ処理基盤の「Cloud Dataflow」を正式サービスとして公開。エクサバイトまでスケール可能
Google、ビッグデータ処理基盤の「Cloud Dataflow」を正式サービスとして公開。エクサバイトまでスケール可能 Googleは、ビッグデータ処理のためのサービス「Cloud Dataflow」を正式版として公開すると8月12日に発表しました。 Cloud DataflowはGoogle Cloud Platformで提供されるフルマネージドのクラウドサービスで、エクサバイトのスケールまで対応。大量のデータの取得、変換、分析、分類などの一連の処理を、リアルタイムに処理するストリーム処理、逐次的に処理するバッチ処理のどちらでも同一のプログラミングモデルで記述し処理できるのが特長です。 Cloud Dataflowは昨年の6月に開催されたイベント「Google I/O 2014」ではじめて発表されました。その時点でGoogle社内ではすでにMapReduceを大規模データ処理には使っ
グーグル、「Cloud Dataflow」「Cloud Pub/Sub」の一般提供を開始
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間8月12日、「Google Cloud Dataflow」と「Google Cloud Pub/Sub」の一般提供を開始したと同社ブログで発表した。これらの2製品によって、「Google Cloud Platform」上でのデータ分析にさらなる柔軟性がもたらされる。 Google Cloudチームは、今回の一般提供開始によって、ビッグデータの活用に向けたツールがすべて出そろったことを強調している。 同社は2014年6月の年次開発者会議「Google I/O」で、Google Cloud Dataflowを初めて発表した。 Google Cloud Dataflowは「MapReduce」を置き換えるものとして設計さ
グーグル、ビックデータ分析サービス「Cloud Dataflow」を一般ベータに
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは2014年12月にアルファ版として公開したマネージドデータ処理サービス「Cloud Dataflow」を、ベータとして一般に公開した。ベータ公開にあたり、弾性を改善し、細かな調整ができる仕組みを加えたという。 Googleはまた、クラウド分析の「Google BigQuery」向けの新機能も発表した。BigQueryはCloud Dataflowと同様に、「Google Cloud Platform」を構成するモジュラーサービスとなる。 BigQueryではセキュリティと性能を改善した。行レベルでのアクセス権により容易にデータ共有できるようになり、テーブルあたり毎秒採集できるデータのデフォルトの上限が10万列に拡大された。
グーグル、ビッグデータ分析基盤「Cloud Dataflow」のJava用SDKをオープンソース化
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間12月18日、Java用の「Cloud Dataflow SDK」をオープンソースで提供することを発表した。「Cloud Dataflow」は、同社が2014年夏に開発者向けイベントのGoogle I/Oで発表したもので、ストリーミングモードとバッチモードのいずれでも情報を処理できるように設計された、ビッグデータ分析ソリューションだ。 当時、Google Cloud Platform担当シニアバイスプレジデントのUrs Holzle氏は、Google社内ではすでに、「任意の大きなデータセット」を分析するパイプラインの新しいアプローチとして、「MapReduce」をCloud Dataflowで置き換えたと発言してい
Google、ビッグデータ分析基盤「Cloud Dataflow」のJava向けSDKをオープンソースで公開
Googleは、オープンソース化の理由として、ストリームとバッチを統合した処理モデルの提供、Dataflowプログラミングモデルの他の言語への適合、Dataflowの他のプラットフォームや処理系での実行の3点を挙げている。 ストリームとバッチを統合した処理モデルの提供については、テンポラリベースのアグリゲーションによって、バッチやストリームベースのデータソースで用いられるリッチなウィンドウプリミティブのセットを用意する。 Dataflowプログラミングモデルの他の言語への適合については、開発者に対してより多くの選択肢を与えるとともに、より多くのアプリケーションによる「Cloud Dataflow」へのアクセスを可能にすることを目的としており、現在Googleでは、今回提供を開始したJava版に加えて、Python 3版を開発中である。 Dataflowの他のプラットフォームや処理系での実行
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
TechCrunch | Startup and Technology News