by Adrian Cockcroft and Denis Sheahan Netflix has been rolling out the Apache Cassandra NoSQL data store for production use over the last six months. As part of our benchmarking we recently decided to run a test designed to validate our tooling and automation scalability as well as the performance characteristics of Cassandra. Adrian presented these results at the High Performance Transaction Syst
テラバイト、さらにはペタバイトが企業データストアの容量の単位として急速に定着していく中で、多くの企業が“ビッグデータ”の膨大な量と多様さにいかに対処するかに知恵を絞っている。しかし、企業が大量の構造化データと非構造化データの保存という難題に取り組みながらも、その一方でおろそかにしがちなのが、アナリティクス(分析)だ。すなわち、生データを有用なリアルタイムビジネスインテリジェンス(BI)に変換し、的確な意思決定につなげることが、しばしばなおざりにされている。 ビッグデータ関連記事 読めば分かる! ビッグデータのためのデータウェアハウス(DWH)とは? Google Fusion TablesでGoogleが示すビッグデータ活用の未来 Microsoftのビッグデータ投資の成果がいよいよ形に 関連ホワイトペーパー BI(ビジネスインテリジェンス) | データウェアハウス | RDBMS
図1●大量のデータ(ビッグデータ)を集めて高度なデータ分析・判断を自動実行することにより、異変をいち早く察知したり、近未来を予測したり、今をリアルタイムで描き出したりすることが可能になる(講演のスライドから) 「犯罪が発生する前に警察官が犯罪現場に現れる、コンピュータ将棋が女流名人に打ち勝つ、自動車が周囲の状況を自律的に判断して自動走行する――。こうした、従来はほとんど不可能だった事象が現実になった背景には、ビッグデータがある」。 日経コンピュータの中田敦記者は2011年11月15日に開催されたオンラインイベント「ITpro EXPOバーチャル2011 Live Day」にて講演、“ビッグデータ革命”が今まさに起こっていることを強調した。 ここでいうビッグデータ革命とは、「大量のデータを集めて高度なデータ分析と判断を自動で行い、異変をいち早く察知したり、近未来を予測したり、今をリアルタイム
今回はレコメンドシステムの実装の問題と、その解決策として利用するHadoopについて説明します。 今回のポイントは以下の通りです。 スケールアップの限界 分散処理フレームワークの民主化 Hadoop Map Reduceの概要 増え続けるデータをどう扱うか レコメンドシステムを協調フィルタリングのうち、ユーザベース方式により実装することを考えます。このシステムでは次のような映画の評価履歴を使い、「この映画を評価した人はこの映画も評価しています」という映画の推薦を行います。 駄右衛門、ザスーラ、5、2009/12/21、・・・・ 駄右衛門、ジュマンジ、5、2009/12/28、・・・・ 菊之助、ブルースブラザーズ、5、2009/12/29、・・・・ 利平、ザスーラ、4、2010/01/01、・・・・ 十三、ハングオーバー、4、2010/01/01、・・・・ 利平、ジュマンジ、4、2010/
次世代Hadoopの初のアルファ版となる「Hadoop 0.23.0」が公開された。「Hadoop 0.23.0」は次世代バージョンのアルファ版と位置づけられており、試験や評価目的での使用が推奨されている。プロダクションユースは想定されていないため、実利用を目的としたインストールはしないように注意しておきたい。 0.23.0という番号であるためマイナーアップグレードバージョンのような印象を受けるが、 Hadoop 0.23系は現在の安定系である0.20系とは大きく異なるバージョン。現在Hadoopを使用している場合には、気軽にバージョンアップしてしまわないように気をつけてほしい。 新版では特に次の2つの新機能が注目される。 HDFSフェデレーションの導入。0.23.0ではブロック管理と名前空間管理が分離しており、ブロックノードと名前ノードを個別に運用可能になっている。これはHDFSのスケー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く