マイクロソフト、分散コンピューティング技術「Dryad」の商用化に向け一歩踏み出す
Microsoftは、「Dryad」（開発コード名）ファミリーの下で開発を進めている「Windows Server」向けの複数の並列／分散技術のテスト版を外部開発者向けに公開した。 米国時間12月17日付けでWindows HPC Team Blogに掲載された記事で、Microsoftは「Connect」経由でDryad、「DSC」「DryadLINQ」の初のコミュニティテクノロジープレビュー（CTP）を公開すると発表した。 Dryadは、Google「MapReduce」や「Apache Hadoop」に対抗するMicrosoftの大規模分散コンピューティング技術。当初、DryadはMicrosoft Researchのプロジェクトとしてスタートし、小規模なクラスタから大規模なデータセンターまで対応する拡張性のある並列および分散プログラムを作成する方法を開発することを目指していた。Dr
Legacy Communities - IBM Community
If you’re looking for a developerWorks forum — Don't panic! You are in the right place. You are here because specific IBM developerWorks forums, blogs and other Connections content have been decommissioned. This page will help you find the content you are looking for, get answers to your questions, and find a new community to call home. Where am I? You are on the IBM Community area, a collection o
Hadoop Hack Night Vol. 2
1. 技術評論社／ヤフー 共催 Hadoop Hack Night Vol. 2 2010年8月4日 新たな情報インフラとしての Hadoopの活用 株式会社リッテル 上席研究員 清田 陽司 (兼 東京大学情報基盤センター 学術情報研究部門 助教) Twitter: @kiyota_yoji 2. Hadoop活用の壁 • 実績がまだまだ少ない • ○○という機能がない • ファイルシステムとして備えるべき機能（アクセス権制 御など) • マスタサーバの多重化 • Hadoopってよくわからないんだけど • RDBMSとの違いは？ • どういう処理でメリットがあるの？ • Hadoopってクラウドなの？(←そもそもクラウドって何 よ？)
米Yahoo!、Hadoopのセキュリティ強化版とワークフローエンジンをオープンソースに
米Yahoo!は、Apache Hadoopに関連した最新技術「Hadoop with Security」と「Oozie」を発表した。それぞれ認証周りとワークフローエンジンを担うもので、今後はオープンソースプロジェクトとして開発を進めていく。 米Yahoo!は6月29日（現地時間）、分散処理プラットフォーム「Apache Hadoop」に関連した最新技術「Hadoop with Security」と「Oozie」を発表した。Yahoo!は2つの技術をApache Software Foundation（ASF）に移管し、今後はオープンソースプロジェクトとして開発を進めていく。 Hadoopは、米Googleの「MapReduce」と「Google File System（GFS）」に着想を得てはじまったオープンソースプロジェクト。現在、ASFのトップレベルプロジェクトとして開発が進んでいる
「もうOracleに金を払いたくない（だからHadoopを使う）」Agile_Cat氏によるスマートグリッド／クラウド勉強会の資料が公開。
先日開催された「スマートグリッド／クラウド勉強会」の中の講演の1つAgile Cat氏による「CloudとSmartGridのためのデータセンター」のセミナー資料が公開されました。 内容はクラウドベンターのデータセンター概要、クラウドデータセンターの実情、ビッグデータの取り扱）などの内容となっています。個人的に驚いたのがHadoopが普及期に入っているということ。「Yahooのデータ解析量は5PB/DAY、これの解析時間はRDBだと26日だったのがHadoopを使うと20分に圧縮」「VISAのデータ解析量は36TB/2years RDBでは一ヶ月だったものがHadoopを使うと13分」「JPモルガンはOracleの代わりにHadoopを利用はじめている。（Oracleに金を払いたくないから）」といった事例が並んでくるとHadoopが一般的にも注目されそうです。
大量データのバッチ処理を高速化するHadoop
Hadoopというソフトウエアが、いま注目を集めています。米Googleが発表した論文のアイディアをオープンソース・モデルで実装したソフトウエアです。膨大な量のデータを処理する必要に迫られた企業や研究組織が、続々とHadoopを実際に活用しはじめています。 私たちの研究グループでは、Wikipediaなどの巨大なテキスト・データを解析するために、2007年頃からHadoopを利用しはじめましたが、日本国内でも2009年あたりからHadoopを使った事例を多く見聞きするようになりました。国内で初めてのHadoop関連イベントが2009年11月に東京で開催され、オライリー・ジャパンから2010年1月にHadoop本の邦訳が出版されるなど、Hadoopが多くの開発者の注目を浴びています。 しかしながら、「Hadoopは何となくすごそうなんだけど、複雑だし、どんなソフトなのかいまいち分からないんだ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Project Prism」：フェイスブックが超ビッグデータに挑む
LinkedInのデータ基盤
Hadoop、hBaseで構築する大規模分散データ処理システム