Consensus Protocol - moratorium
Consensus Protocol 2009-08-25 (Tue) 7:29 研究 Consensus Protocolについて分かりやすいブログ記事が有ったので、メモ。Clouderaの方みたいです。 A Brief Tour of FLP Impossibility A brief history of Consensus, 2PC and Transaction Commit Consensus Protocols: Two-Phase Commit Consensus Protocols: Three-phase Commit Consensus with lossy links: Establishing a TCP connection Consensus Protocols: Paxos Consensus Protocols: A Paxos Implementatio
libevent-1.3b, libmemcached-1.4.4 で固まる? - moratorium
libevent-1.3b, libmemcached-1.4.4 で固まる? 2010-08-13 (Fri) 0:56 Uncategorized mixiの件について、nealさんから情報を貰ったので数時間調査してみた。というのも、うちの製品でもlibevent(evhttp)をリクエスト処理に使っているので、これにバグが有ると非常に困る。 Nealさんのつぶやき ひとまず、libevent-1.3b, libmemcached-1.4.4をビルドする。memcachedは、-cで同時接続数を制限できる。で、この同時接続数というのは、実はファイルディスクリプタの数を制限する事で達成されている。memcached.cの以下の部分。 /* * If needed, increase rlimits to allow as many connections * as needed. */
memcachedの件: その2 - moratorium
memcachedの件: その2 2010-08-14 (Sat) 4:59 Uncategorized 再現させる bulkneetsツールを使ったが、Ubuntu Intrepid (2.6.27-11-server)では再現せず。RHEL5(2.6.18-128.el5)では再現した。もうちょい色々な環境で試してみる必要が有りそう。 エラーメッセージからの追跡 stanakaさんの以下の発言より。 * http://twitter.com/stanaka/status/21037070317 以下のメッセージが出るらしい。 [err] event_queue_remove: 0x15ea9d88(fd 30) not on queue 8 event.c event_queue_remove()の先頭部分でのメッセージ。 void event_queue_remove(struct
http://kzk9.net/blog/epoll-realloc-fix.patch.txt
--- libevent-1.3b/epoll.c 2007-03-04 13:05:06.000000000 +0900 +++ libevent-1.3b-modified/epoll.c 2010-08-13 08:23:08.000000000 +0900 @@ -159,12 +159,12 @@ { struct epollop *epollop = arg; - if (max > epollop->nfds) { + if (max >= epollop->nfds) { struct evepoll *fds; int nfds; nfds = epollop->nfds; - while (nfds fds, nfds * sizeof(struct evepoll));
C言語: UNIX最速ファイルコピー
Created: Kazuki Ohta, 2006/06/14 Last Update: Kazuki Ohta, 2006/06/14 「write(2)の正しい使い方」と同じく、OS演習でやった事の延長線の記事を書いてみる。お題は「UNIX上で大規模ファイルを最速でコピーする方法」だ。一般的に、UNIXでファイルをcopyする際には以下のような方法が有る。 read -> write read -> write with posix_fadvice mmap -> mmap -> memcpy -> fsync mmap -> mmap -> memcpy -> fsync with madvise mmap -> write mmap -> write with madvise read, write, mmap辺りは良いとして、posix_fadviseというシステムコールが有
Amazon Elastic MapReduceを使ってみた - moratorium
Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオ With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以
HDFSでアトミックな追記操作がサポート - moratorium
HDFSでアトミックな追記操作がサポート 2008-07-28 (Mon) 10:12 Hadoop 今週末、HDFS(Hadoop Distributed File System)についにアトミックな追記操作をサポートするパッチがコミットされたようです！ - HADOOP-1700 これが安定すれば、ログファイル等をどんどん追記して、半リアルタイムで解析するような基盤を簡単に作れるようになるでしょう。 そのほかにもHadoopは色々と開発が進んでいて、一部がTomWhiteさんのエントリにまとまっています。どんどん便利に、かつカスタマイズ可能になって行くので楽しいです。以下に簡単にまとめておきます。 JobSchedulerの改善(現在はFIFOしか無いが、Facebookから公平性を考慮したスケジューラーの実装が上がっている) HDFSのブロック配置アルゴリズムをプラッガブルに Ins
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
