140行で作る分散リアルタイム検索エンジン（Twitter Streaming API対応） - 古橋貞之の日記
マトモに使えるRPCライブラリ MessagePack-RPC for Ruby のバージョン 0.2.0 をリリースしました！ 新たにコネクションプーリングの機能を追加しました。一度接続したコネクションを共有して使い回すことができます。コネクションを何度も張り直す負荷と遅延を削減でき、リソースの消費も抑えられます。 また、不意に切断されたコネクションを自動的に再接続する機能を導入し、信頼性を向上させています。 これを使って何か作ってみようと言うことで、twitterのリアルタイム検索エンジンを作ってみました。日本語を検索できないなど機能は貧弱ですが、プログラム全体がわずか140行に収まっています（クローラ27行、インデクサ48行、クラスタ管理ノード37行、検索クライアント28行）。 新しいつぶやきを受信するたびに、リアルタイムで転置インデックスを作成していきます。インデックスを作成するノ
TwitterのStreaming APIが正式版に － ＠IT
2010/01/06 Twitterが2009年4月からアルファテストを行ってきた「Streaming API」が1月6日、正式版としてリリースされた。Streaming APIは、パブリック・タイムラインや特定の検索語彙、ユーザーID、位置情報によるフィルタリングで流れてくるリアルタイムな情報を取得するためのAPI。パブリックタイムラインの取得は一般ユーザーの権限（BASIC認証を使う）では、サンプリング済みのサブセットだけとなるが、より多くのサンプルを取得するAPIや、フルセットのパブリックタイムラインを取得する“Firehose”（非常に大量のデータが流れ出てくることから、水圧の高い消防ホースになぞらえている）と呼ばれるAPIもある。 “ストリーム”は小さなデータの更新情報の流れを表す一般的語句としても用いられているが、FacebookやTwitterが提供するStreaming A
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
