Hadoop分散処理、6時間から5分に高速化 - Yahoo! Japan | エンタープライズ | マイコミジャーナル
Yahoo! JAPAN Tech Blog 1コアあたりの性能向上が緩やかになってきているため、処理速度を向上させるには並列処理へ移行する必要がでている。PCレベルであればマルチコアでの並列化ということになり、もっと大規模でスケーラビリティの高い処理を実現するにはグリッドやクラウドコンピューティングと呼ばれるような分散コンピューティングを実現していく必要がでてくる。 分散コンピューティングはシステムアーキテクチャの設計から実装まで煩雑になると敬遠されがちだが、簡単に実現するための方法がないわけではない。OSSプロダクトではApache Hadoopが代表的な存在だ。Hadoopは大量のデータ処理を分散処理するためのプラットフォーム。Hadoopの流儀にしたがって機能を実装すれば自動的に分散処理を実現できるという優れものだ。 しかし分散コンピューティングというと研究室レベルでの活用とか、G
IIJがクラウド戦略を発表、独自の分散データ処理技術やコンテナ採用など
インターネットイニシアティブ（IIJ）は2009年5月28日、クラウドコンピューティング・サービスに関する事業戦略を発表した。年内にストレージやアプリケーション実行環境といったコンピュータ資源をサービスとして提供する計画という。基盤技術として分散データ処理技術などを独自開発する。コンテナ型データセンターの採用も検討中という。 IIJが今回発表した独自の分散ファイルシステム「ddd（distributed database daemon）」は、米アマゾン・ドット・コムの「Amazon Dynamo」をモデルにしたキー・バリュー型データストアである。巨大なデータをピア・ツー・ピア（P2P）技術で連携する複数のノード（サーバー）に分散配置することで、データの入出力や検索を高速化できる。ノードを追加した分だけ処理性能が向上するのが特徴という。同社のテストでは「ファイアウオールのログ100Gバイトを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
