タグ

2009年12月7日のブックマーク (2件)

  • 140行で作る分散リアルタイム検索エンジン(Twitter Streaming API対応) - 古橋貞之の日記

    マトモに使えるRPCライブラリ MessagePack-RPC for Ruby のバージョン 0.2.0 をリリースしました! 新たにコネクションプーリングの機能を追加しました。一度接続したコネクションを共有して使い回すことができます。コネクションを何度も張り直す負荷と遅延を削減でき、リソースの消費も抑えられます。 また、不意に切断されたコネクションを自動的に再接続する機能を導入し、信頼性を向上させています。 これを使って何か作ってみようと言うことで、twitterのリアルタイム検索エンジンを作ってみました。日語を検索できないなど機能は貧弱ですが、プログラム全体がわずか140行に収まっています(クローラ27行、インデクサ48行、クラスタ管理ノード37行、検索クライアント28行)。 新しいつぶやきを受信するたびに、リアルタイムで転置インデックスを作成していきます。インデックスを作成するノ

    140行で作る分散リアルタイム検索エンジン(Twitter Streaming API対応) - 古橋貞之の日記
  • Twitter研究会で話してきました - Unchained Life

    慶應義塾大学湘南藤沢キャンパス(SFC)で行われたTwitter研究会で話してきました。 http://homepage3.nifty.com/toremoro/study/twitterconf.html "Twitterからホットなキーワードを抽出する方法"というタイトルで発表しました。 Twitterからホットなキーワードを抽出する方法View more documents from beatinaniwa.ustreamの録画はこちら(チームラボの高須さんありがとうございます) http://www.ustream.tv/recorded/2713804 もっとちゃんと整理してわかりやすく説明をすべきだというのは大いなる反省点ですが、練習あるのみですね... SFCに行くのは初めてで、陸の孤島とかいわれているのでどんなところだろうと思っていましたが、そんな大げさに言う程でもないよう

    Twitter研究会で話してきました - Unchained Life
    syou6162
    syou6162 2009/12/07
    あとで読む&聞く!