データベースとHadoopの連携
Hadoopのしくみとデータベースシステムとの対比 HadoopはGoogleの分散処理基盤システムを紹介した論文をもとに、Apacheコミュニティにて開発されたオープンソースの分散処理システムです。分散処理環境の構築に汎用ハードウェアを活用し、MapReduceと呼ばれる比較的シンプルな分散処理フレームワークを導入することにより、これまでは困難であった分散処理アプリケーション構築のハードルを大きく下げ、大規模データ処理の基盤として活用する事例も増えてきています。 Hadoopのコアの部分は、Hadoop Distributed File System (HDFS) という分散ファイルシステムと、MapReduce分散処理フレームワークが密接に組み合わされて構成されています。Hadoopでデータを処理する場合には、まずデータはファイルとしてHDFS上に格納されますが、HDFSはデータを固定
ビッグデータの利用で得られる効能とは？
論点は3つに大別される。すなわち、「a.どのようなデータソースをもとにビッグデータをつくるか」「b.どのような処理や機能によってビッグデータを利用するか」「c.ビッグデータの利用からどんな効能を得ることができるか」の3点である。 まず、「a.どのようなデータソースをもとにビッグデータをつくるか」としては、各種のセンサ技術由来データ、「オープン」を標榜するウェブサービスが提示するAPIを介して利用可能な各種データ、自らウェブサイトを運営しているのであれば当該サイトを訪問する利用者のログデータなどが相当する。 このような機械的なデータに加え、営業マンが顧客管理データベースに手入力する内容などもデータソースとなるし、公的機関が公開している大量の統計データなども当然にしてデータソースの一種と言えるだろう。 次に「b.どのような処理や機能によってビッグデータを利用するか」において関連商材・サービスの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
