分散処理に入門してみた（Hadoop + Spark） | Casley Deep Innovations株式会社 技術ブログ

こんにちは。SI部の腰塚です。 RDBやデータウェアハウスの仕事に携わることが多かった筆者は、数年前からたびたび聞こえたビッグデータ分析や機械学習のための分散処理フレームワークに興味を覚えたものの、ついぞアクセスしないままここまで来てしまいました。 今回ブログを書くにあたって、せっかくなのでイチから手さぐり入門し、いまさら他人に聞けない分散処理の初歩からhadoop・sparkを触ってみるまでをまとめたいと思います。 1.分散処理の基礎知識 1-1.分散処理の処理方式：MapReduce まず分散処理とは、ひとつの計算処理をネットワークで接続した複数のコンピュータで同時並列で処理することです。 ビッグデータ活用の市場が日々大きくなるに従って、数百テラ～ペタのデータ処理も珍しいものではなくなっており、日常的にこの規模のデータを扱うシステムでは、現実的な時間的・費用的コストで処理する工夫が必要

[nilab]

分散処理に入門してみた（Hadoop + Spark） | キャスレーコンサルティング株式会社

[yoknst]

ビッグデータ　分散処理

[letitride]

hadoop + hive + sparkの導入サンプル記事

[myfirm]

HIVEとは、Facebookによって開発された、RDBを使う感覚でHadoopジョブを実行できる仕組みです。HiveQLというSQLライクのDSL言語を使うだけで内部で勝手にMapとReduceに変換して実行される優れモノです。

[basty5656]

“1.分散処理の基礎知識 1-1.分散処理の処理方式：MapReduce まず分散処理とは、ひとつの計算処理をネットワークで接続した複数のコンピュータで同時並列で処理することです。 ビッグデータ活用の市場が日々大きくなるに従

[torinky]

キャスレーコンサルティング　技術ブログ

[takaken1123]

[2016-06-15 20:01]

[suzukyu]

Apache Spark面白そう

[higysk]

“SELECT text,time,SUM(uryou) FROM uryou GROUP BY text,time ORDER BY text,time;”

[kma83]

キャスレーコンサルティングの人がHadoopとSparkの入門記事を書いている

[kgrock]

キャスレーコンサルティング　技術ブログ