第14回 大規模データの新たな価値を生み出す「Hadoop」（解説編）
「Hadoop」は、米Google社が考案した分散データ処理技術「MapReduce」をオープンソース・ソフトウエアで再実装したものです。Web系企業では、ユーザーのアクセスから得られる膨大なデータを解析するツールとして定着が進んでいます。最近ではWeb系以外の一般企業でもHadoopの活用が検討されてきています。 今回は、企業システムでHadoopを利用する意義と、ペタバイト・クラスのデータ処理を実現するHadoopの実装を解説します。 Google論文の衝撃 HadoopやMapReduceは「安価なサーバーで大量のデータを高速処理」「バッチの処理時間が劇的に短縮」などと紹介されています。とても高度な技術ととらえている方もいるかもしれませんが、実はそれほど複雑なものではありません。 MapReduceは、Googleが2004年に論文(http://labs.google.com/pa
[Hadoop ]カテゴリの記事一覧 - 情報科学屋さんを目指す人のメモ（FC2ブログ版）
何かのやり方や、問題の解決方法をどんどんメモするブログ。そんな大学院生の活動「キャッシュ」に誰かがヒットしてくれることを祈って。 激安サーバでHadoop構築 Hadoop導入記シリーズ： Hadoop導入記01「Hadoop導入記スタートのお知らせ」 Hadoop導入記02「固定IPアドレスのアドレス変更」 Hadoop導入記03「NISを使ってマシン間でアカウントを共有する」 Hadoop導入記04「NIS+NFSでhomeディレクトリを共有する」 Hadoop導入記05「Hadoopが複数台動作しました」 Hadoop導入記06「autofsの設定がおかしい？」 Hadoop導入記07「Hadoop用ユーザを作る」 Hadoop導入記08「SSHに制限をかける」 Hadoop導入記09「Hadoopをついにインストール それとJDKも」 Hadoop導入記10「Hadoopの設定とテ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
