タグ

分散に関するmiya1972のブックマーク (4)

  • グーグル発「Hadoop」、日本企業も利用へ

    Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムを基に開発された、オープンソースソフトだ。グーグルが開発した分散ファイルシステム「Google File System(GFS)」を模した「Hadoop Distributed File System(HD FS)」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモルガン・チェースのような大手金融機関が、バッチ処理にHadoopを使用する。 そのHadoopがいよいよ、日企業でも使われ始めた。例えば楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」にHadoopを使用する。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムの構築にHadoopを採用した。三菱UFJインフォメーションテクノロジーもHadoopを使っ

    グーグル発「Hadoop」、日本企業も利用へ
    miya1972
    miya1972 2011/01/18
    楽天はレコメンド処理に、NTTデータは全国の渋滞情報のシステムに、三菱東京UFJ銀行やYahoo!も利用しているが、googleが開発した訳じゃないそうな。
  • okuyama0.4.0をリリース。今後 - okuyamaooの日記

    okuyama0.4.0をリリースしました。 http://sourceforge.jp/projects/okuyama/ 分散トランザクションを実装する前に、付けたい機能を一通り実装。 追加機能は以下。 ■データノードの動的追加をサポート ■データノード追加後に新しいノードへデータの移行を行う機能を追加 ■データノードへのアクセスをメインデータノード、スレーブデータノード間でバランシング出来るモードを追加 ■マスターノードを複数台稼動させ、負荷分散、冗長化出来る機能を追加 全体的な構成はこんな感じ。 まだまだ荒いところがあるのと、人手を必要(復旧など)とする部分があるので、 直すところは多くあるので徐々に改修していくのと同時分散トランザクションのことを 考えてみます。

    okuyama0.4.0をリリース。今後 - okuyamaooの日記
  • Key Value Storeについて

    主な3つの機能について実装状況を示してみました。 「データ永続化」とは、ストレージサーバを再起動してもデータが失われないようにデータをメモリではなくHDD等に格納できる機能です。例えば、memcachedはメモリにデータを置くため、ストレージサーバを再起動するとデータが失われます。 「データ冗長化」とは、格納したデータがストレージサーバ側で自動的に複数のストレージサーバにコピーが作られる機能です。1台(または数台)のストレージサーバがダウンしてもデータが失われることはありません。 「データ分散」とは、キーのハッシュ値等を元にデータの格納先のサーバを振り分ける機能で、負荷分散を図ることができる機能です。なお、memcached、Tokyo Tyrantにはサーバ側での分散機能はありませんが、クライアント側のライブラリによって格納先サーバを分散させることも可能です。 memcachedプロトコ

    Key Value Storeについて
  • 「分散コンピューティング」関連の最新 ニュース・レビュー・解説 記事 まとめ - ITmedia Keywords

  • 1