GoogleAppEngine Pythonでフルテキストサーチ TriGram - When it’s ready.
1日で作ったのでエラーありまくりですが、一通り動いているのでURL公開 http://a2c-fts.appspot.com ngram(TriGram)でプチプチ切って、エントリーのKeyNameを転置IndexのListにAppendしてます。 元ネタは、search.twitter.comから httpが含まれる日本語の検索結果を10分置きにJSONで取りに行ってます。 さすがに、15ツイート分をNgramでぶつ切りにしたものは（1000個以上あるので）、30秒以内に保存出来ないので TaskQueueで徐々にいれていますが、秒間5個までしか動かないので、10分以内でも保存出来てなかったりします。 Ver.1は、フルGAEでやろうとしていたのですが、さすがにTaskQueueが溢れそうになったので現在のバージョン２では redisを使って、転置インデックスを保存しています。 redi
GAE/Python でフルテキストサーチ実装した。 redisを使ったインチキバージョン - When it’s ready.
GAEにどんどん機能が追加されていく中、なかなか実装されないのが全文検索。品詞がとれるセグメンターだけでも提供してくれたら全然便利だと思うんだけどそんなアナウンスはまだ有りません。 なきゃ作ればいいじゃんという事で、全文検索もどきを実装してみました。ひとつ前のエントリー通りTriGramです。 以前、恵比寿のイケメン イアンさんと一緒に作ったmisopotetoというモジュールをベースにしています。 今回のポイントは、転置インデックスをredisサーバに送っているところ、GAE（とうかDB全般）は、インサートがめちゃくちゃ遅いので、Ngramでgram毎にエントリーIDをappendしていくというのは辛いです。Twitterの検索結果15個ｘ100文字位をTriGramでインデックスを作ろうとすると、1500個くらいをgetしてappendして、putする必要があります。以前は、TaskQ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
