「データのライフ・サイクル」で考えるHadoopの使いどころ
前回は、Hadoopがどのような仕組みでスケール・アウト性を実現しているのかを述べました。また、Hadoopが基本的に、バッチ処理のスループットの向上を目的にしていることを指摘しました。 Hadoopには、「できること」と「できないこと」があります。処理の性質によっては、既存のリレーショナル・データベース管理システム（RDBMS）や、最近注目されているKey-Value Store（KVS）型データベースなどが適していることもあります。 今回は、RDBMSが果たしている役割とニーズの変化を踏まえながら、「データのライフ・サイクル」に着目して、RDBMS、Hadoop、KVSの3者をどのように使い分けていくべきかを解説します。 RDBMSが果たしている役割 RDBMSは、米IBMの研究所に勤務していたエドガー・F・コッドが1970年に発表した、「関係モデル」というデータ・モデルを採用したデー
Hadoopがスケール・アウトする仕組み
前回の記事では、Hadoopが膨大なデータをバッチ処理するための「インフラ」としての性質を備えていること、情報爆発時代の新たなインフラとして普及しつつあることを説明しました。その中で、情報爆発時代に必要とされるインフラは、「スケール・アウトが可能であること」という条件を備えていなければならないことを示しました。サーバーの台数を増やすことで容易にシステムの処理性能が増やせることは、Hadoopの重要な特徴です。今回は、Hadoopがどのようにしてスケール・アウトを可能にしているかを、「分散ファイル・システム」と「MapReduceフレームワーク」の2つの観点から解説します。 スケール・アウトとは？ コンピュータ・システムを新たに構築するときは、必ず「運用」のことを考えておく必要があります。システム・トラブルが発生した場合の対応策を決めたり、将来の仕様変更に備えてプログラムに拡張性を持たせたり
大量データのバッチ処理を高速化するHadoop
Hadoopというソフトウエアが、いま注目を集めています。米Googleが発表した論文のアイディアをオープンソース・モデルで実装したソフトウエアです。膨大な量のデータを処理する必要に迫られた企業や研究組織が、続々とHadoopを実際に活用しはじめています。 私たちの研究グループでは、Wikipediaなどの巨大なテキスト・データを解析するために、2007年頃からHadoopを利用しはじめましたが、日本国内でも2009年あたりからHadoopを使った事例を多く見聞きするようになりました。国内で初めてのHadoop関連イベントが2009年11月に東京で開催され、オライリー・ジャパンから2010年1月にHadoop本の邦訳が出版されるなど、Hadoopが多くの開発者の注目を浴びています。 しかしながら、「Hadoopは何となくすごそうなんだけど、複雑だし、どんなソフトなのかいまいち分からないんだ
クラウドサービスを使用した図書館ITインフラ（文献）
code4lib journalの第9号（2010年3月22日号）に、インターネットをベースにしたクラウドサービスを使用した図書館ITインフラについての記事が掲載されています。著者は、米国ウェイクフォレスト大学のZ.Smith Reynolds図書館の技術担当のErik Mitchell氏で、図書館でのクラウドコンピューティングの概況のあと、同図書館のシステムのクラウドサービスへの移行の経験と課題などがまとめられています。同図書館での移行の評価として、(1)クラウドサービスの質と安定性については問題がないこと、(2)図書館サービス提供への影響については、インフラレベルでのサービスを使用したので、従来の図書館システムのもっていた機能等がそのまま使用できたこと、(3)従来のシステムとのコスト比較については特に安いとは言えないこと、などが示されています。課題としては、職員の研修が必要であったこと
三菱総研、自治体などを対象のクラウド研究会設立--セールスフォースやMSが参加
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 三菱総合研究所は4月5日、自治体やパブリッククラウドベンダーで「クラウドユーザー研究会」を立ち上げることを発表した。公共向けのプロトタイプサービスを試験的に無償提供して、公共系の現場で実際に使ってクラウドサービスの活用方法や自治体が導入する際の課題を検討するとともに、プロトタイプサービスの検証や機能改善などを行っていく。 クラウドユーザー研究会は、自治体のほかに自治体から委託を受けて公共サービスを提供する事業者、非営利団体（NPO）が中心に参加する。自治体などのユーザーに実際に試作品（プロトタイプ）のクラウドサービスを試用、検証してもらい、ニーズや課題などを明らかにしていく。得られた成果をユーザーやクラウドサービス事業者、国の政策などに
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
