Inside はてなブックマーク全文検索: TokyoCabinet と TokyoTyrant で高速化・並列化 - 武蔵野日記遅ればせながら kzk くんの はてなブックマーク全文検索機能の裏側をメモ。 すごくいいコラボレーションだなと思いつつ、ふむふむと思ったのは以下の部分。 当初はそのままSedueをインストールすれば終わるんじゃねぐらいに思っていたのですが、そう甘くも行きませんでした。 一番問題となったのは登録時のパフォーマンス。Sedueでは今まで適当に本文を1文章1ファイルで格納していたのですが、バッチで全文章を登録するとなるとこれでは遅すぎたので、TokyoCabinetを使用して本文を保存する事にしました。 APIが簡単 4G以上のデータも扱える スレッドセーフ mixiでの高負荷運用実績が有る な辺りが決め手でした。これで劇的に速度が改善し、色々と作業が進め安くなりました。 (中略) 開発方法については、Sedueではランキング関数の部分はプラグイン(動的ライブラリ)の形になっていて、サーバーを走
