140行で作る分散リアルタイム検索エンジン（Twitter Streaming API対応） - 古橋貞之の日記
マトモに使えるRPCライブラリ MessagePack-RPC for Ruby のバージョン 0.2.0 をリリースしました！ 新たにコネクションプーリングの機能を追加しました。一度接続したコネクションを共有して使い回すことができます。コネクションを何度も張り直す負荷と遅延を削減でき、リソースの消費も抑えられます。 また、不意に切断されたコネクションを自動的に再接続する機能を導入し、信頼性を向上させています。 これを使って何か作ってみようと言うことで、twitterのリアルタイム検索エンジンを作ってみました。日本語を検索できないなど機能は貧弱ですが、プログラム全体がわずか140行に収まっています（クローラ27行、インデクサ48行、クラスタ管理ノード37行、検索クライアント28行）。 新しいつぶやきを受信するたびに、リアルタイムで転置インデックスを作成していきます。インデックスを作成するノ
Digg Blog
This post was written by Betaworks lead scientist Suman Deb Roy and was originally posted on Medium How Digg Bot finds stories for your favorite topicsA year and half ago, the Notifications Summit was held at Betaworks to deliberate on many key ideas: the push and the pull, notifications as a primary interface, as a meta-app, utility of the lock screen, deep linking, filters etc. There was growing
Erlang, Yaws, and the deadly Tornado
The numbers looked interesting, so I decided to benchmark Tornado myself to check out how it fares against some Erlang tools. Keep in mind that Erlang runtime itself is not the fastest beast in the woods. It is generally considered slower than many other interpreted languages (including Python), especially on file operations (due to complexities of the io library doing most of heavy lifting). Howe
nginxとdjangoのコラボレーティブキャッシング - karasuyamatenguの日記
djangoのようなフレームワークは開発者の生産性を劇的に向上させてくれる。しかしそのためにパフォーマンスは犠牲にされる。djangoのORMなんか非常に便利だが、そのまま使っていると非効率なことがRDB層で起きる羽目になる。でもこれは殆んどのアプリケーション開発において賢いトレードオフだと思う。だって、作って公開してみなければそのアプリが最適化するに値するものかどうかは別らないでしょ。 という具合でとりあえず作ってみたサイトがめでたくトラクションを得るとパフォーマンスが問題になってくる。今作っているサイトは日2万ページビューぐらいでピーク時にアップアップ状態。同じページを作るのに毎回SQLからオブジェクトを作ってレンダリングしているんだから無理ない。ホスティングは月20ドルのVPS。趣味のサイトなので、これ以上の予算はない。そこでキャシュの出番だ。 サーバ構成はnginxの後ろにfast
The technology behind Tornado, FriendFeed's web server - Bret Taylor's blog
Today, we are open sourcing the non-blocking web server and the tools that power FriendFeed under the name Tornado Web Server. We are really excited to open source this project as a part of Facebook's open source initiative, and we hope it will be useful to others building real-time web services. Check out the announcement on the Facebook Developer Blog. You can download Tornado at tornadoweb.org.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
f-zipper-with-pipe-forward
Page not found - diesel web
