勉強会メモ - Apache Hadoop エコシステムを中心とした分散処理の今と未来 - よしだのブログ

今日は、Hadoop のセミナーを見るために IIJ さんにお邪魔してきました。 内容としては、Hadoop の歴史と現状の流れを技術的な面から紐解いた第一部と、Hadoop コミュニティやオープンソースコミュニティを解説した二部という構成でした。技術的な面では、何となく理解していたつもりだったところ（分散処理をしてもオーバーヘッドが激しくIOが多くなるので速くなるとは限らない、MapReduce が遅いのはMap後にかならずHDFSに書きだすから遅い、DAGは実行するジョブを計画のなかで最適化するので速い、などなど）を非常にわかりやすく解説されていて感動しました。残念ながらまだ資料は公開されていないようですが、繰り返して読みたい内容でした。 以下、印象に残ったところだけですが、メモです。 Apache Hadoop エコシステムを中心とした分散処理の今と未来 小沢健史 NTT ソフトウェ