Twitterで使っているScalaで書かれたオープンソースのメッセージキューサーバー、Kestrel – yusuke.blog
Kestrelは大規模かつ高速に運用できるメッセージキューサーバーです。Twitterで使っています。 ソースはhttps://github.com/robey/kestrelよりチェックアウトできます。 ・特徴 Kestrelは特徴として – memcachedプロトコルをサポートしており、クライアントのプラットフォーム非依存 – Scalaで書かれており、高速なJVMの恩恵を受けることが出来る – 全部で2500行ほどとシンプル – 基本メモリベースで高速だがメッセージはファイルシステムにジャーナルが記録されており耐障害性が確保されている – キューから取り出したメッセージをクライアントがacknowledgeするまで捨てないことで処理漏れを防ぐことができる といったことが挙げられます。 ・Memcachedプロトコル Memcachedプロトコルの基本は非常に簡単で、setコマンドで
Gearman
What is Gearman? Gearman provides a generic application framework to farm out work to other machines or processes that are better suited to do the work. It allows you to do work in parallel, to load balance processing, and to call functions between languages. It can be used in a variety of applications, from high-availability web sites to the transport of database replication events. In other word
ØMQ(zeromq)について調査する。
ØMQ(zeromq)について簡単に調査したのでメモ。元ネタはØMQ - The Guide。 概要 N-N通信を実現する、socket API風軽量メッセージングライブラリ。 自動的な再接続や、メッセージのキューイングを行ってくれる。 複数のメッセージングパターンと呼ばれるものを組み合わせることによって、柔軟なメッセージ配信を行うことができる。 ライブラリについて socket APIライクなC APIを持つ。以下socketは、zeromqのsocketを指す。 zeromqはコンテキストというものを通じて使う。1コンテキストに、I/Oスレッドが1つ割り当てられる。基本1プロセスに1コンテキストでOK。複数のcontextを持つことはできるし、その場合は同じ個数のI/Oスレッドが走る。 zeromqのsocketは、プロセス内通信(スレッド間通信など)、プロセス間通信、TCP、UDPマ
ニコニコ大百科アラートでのメッセージキュー設計について。 - グニャラくんのグニャグニャ備忘録@はてな
お風呂でメモ。 要件 ニコニコ大百科で起こったイベントのうち、 ユーザが指定したものだけを通知するクライアントアプリケーションを作成したい。 なお、すべてのイベントは漏れなくユーザに伝わることとし、 すべてのユーザに送られる情報は同一とする。 イベントが起こった「直後」にイベントが通知されることが望ましい。 計算負荷・ネットワーク負荷が軽い方法がよい。 サーバ側はRuby、クライアント側はPythonを用いる。 さて、どのような通信方式でデータをやりとりすべきか。 RSS/ATOM まず考えられるのが、RSSやATOMなどの採用。クライアント側でもライブラリなどがあってお手軽。 feedのエントリ数が固定だと、pollingの間にすべてのイベントが流れてしまう恐れがある。 よって、feedのエントリ数は可変とし、一定の時間内に起こったイベントを全て記録することとする。 一定の時間内に起こっ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
