Thread Base MapReduce - moratorium
Thread Base MapReduce 2007-01-09 (Tue) 0:29 Uncategorized 並列計算フレームワークを作っている人を見てたら自分もなんか作りたくなって来たので、スレッドベースでGoogleのMapReduceを真似て見ました。1マシン用のMapReduceといった所ですかね。 以下にソースコードが有ります。適当に煮るなり焼くなりしてください。 ソースコード ワードカウントが以下のようなコードで記述できます。 [code] class WordCounter : public Mapper { public: virtual void Map(const MapInput& input) { string text = input.value(); istringstream iss(text); string word; while
Hadoop + Luceneで分散インデクシング - moratorium
Hadoop + Luceneで分散インデクシング 2008-08-27 (Wed) 1:07 Hadoop Hadoop (0.17系) + Lucene (2.3系) で検索用インデックスを分散インデクシングするコードを公開してみます。HDDに眠らせてるのはちょっともったいない。 いきなりソースコード。 package net.kzk9; import java.io.*; import java.util.*; import org.apache.hadoop.conf.*; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hadoop.util.*; import org.apache.lucene.i
オープンソースで構築するグリッドコンピューティング·GridGain MOONGIFT
コンピュータの高性能化と低価格化に伴って、世の中には無数のコンピュータが存在するようになった。全力で動いてロードアベレージが常に高いマシンもあれば、殆ど休眠状態のマシンもあるだろう。一台の超高性能なマシンを使うよりも、そのような休眠状態のマシンをつなげてパラレルに計算処理を行わせる方が価格も安く、耐久性も高くなるかもしれない。 サーバ実行中 そのようなパラレルな計算処理を可能にするのがグリッドコンピューティングだ。その基盤となるソフトウェアがGridGainになる。 今回紹介するオープンソース・ソフトウェアはGridGain、Java製のグリッドコンピューティングだ。 GridGainは汎用的なグリッドコンピューティングシステムで、Eclipseを使ってライブラリを読み込み、実行処理をグリッドコンピューティングに行わせるデモムービーが提供されている。一つのマシン上でノードを複数立てられるよ
ConsistentHashing - コンシステント・ハッシュ法
ConsistentHashing - コンシステント・ハッシュ法 目次 この文書について コンシステント・ハッシュ法 実例 実装 用途 コンシステント・ハッシュ法 この文書について "Tom White's Blog: Consistent Hashing" の日本語訳です. http://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html 推敲歓迎: 誤訳, タイポ, 訳語の不統一, そのほか... 原文のライセンス: http://creativecommons.org/licenses/by-nc-sa/2.0/ 私は今までに何度かコンシステント・ハッシュ法にとりくんだことがある。 このアイデアをあらわした論文 ( David Karger らによる Consistent Hashing and R
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
