フリーのVM環境を使って、ビッグデータ分析の学習環境をすばやく構築する

はじめに Hadoopを使って大規模データを蓄積し分析するのは、もはや当たり前になってきた昨今ですが、大規模データ分析の環境を試すのは、なかなか難しいというのが現状です。確かに、Hadoop単体やSQLエンジン単体なら、Amazon EMRやGoogle BigQueryなどを使うことで体験することは可能でしょう。しかし、大規模データの分析基盤では以下のようなことを行っていく必要があります。 RDBMSからデータをHadoopにインポートする SQLを使って、大規模データを高速に分析する アクセスログなどの大量の非構造化データを分析する 大量のデータに対し、リコメンドに利用するための高度な分析処理を行う 大量のデータを全文検索できるようにする これらすべてを試す環境を構築するのは、たとえクラウド環境を使ったとしても困難です。また、（検証環境としては）意外と高額な費用がかかってしまい、永続化

[daisukebe]

ライフワークIngressじゃなかったの...

[shiumachi]

書きました #cloudera

[o_hiroyuki]

vm

[sendai]

仕事ネタ 来週やってみよう

[chezou]

“ライフワークで技術系ポッドキャスティング garsue.fm のファシリテーターを務めている。”