分散並列処理の基本に関する解説と,分散並列処理のオープンソース界隈で最近起こっていることをまとめた資料です.
はじめに そろそろ俺も分散処理かな、と常々考えていたのでこの機会(アドベントカレンダー)にApache Sparkを勉強して、分散処理を始めてみたいと思います。 全4回くらいに分散して進めていきますのでどうぞよろしくおねがいします。 1. お勉強とインストール Apache Sparkとは 大規模データを分散処理をオンメモリで実現するプラットフォーム 高速 かつ 汎用的 であることを目標に設計されている UC Berkekeyで開発され、今はApacheのトップレベルプロジェクトになっている scala, python, java, SQLのシンプルなAPIを提供している そもそも分散処理とは ある計算処理をネットワーク接続された複数のコンピュータを用いて同時並列で処理すること ビッグデータを扱う際に、処理時間を短縮するための手法のひとつ 安価なサーバを複数台用意して処理を割り振れるので、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く