タグ

gaeとcheckitout_devに関するrawwellのブックマーク (4)

  • Big Sky :: 無料ではてなブックマークとdeliciousを同期する方法

    はてなブックマークをdeliciousに同期する場合、どうやってますか? 同時ポストツール? Plagger? まさか、手作業? 同時ポストツールの場合、確かにその場で同時にポスト出来て便利ですね。でも携帯ではてなブックマークから登録した場合、同期されませんよね。 Plaggerだと、cronで動き続けるPCが要りますよね。家に24時間稼動可能なPC無いよ!なんて人いるかもしれません。 手作業?問題外! 先日、Google App Engineにcronが導入されました。 Google App Engine Blog: Seriously this time, the new language on App Engine: JavaCron support: schedule tasks like report generation or DB clean-up at an inter

    Big Sky :: 無料ではてなブックマークとdeliciousを同期する方法
  • エロティックHadoopにつられる前に、GAEのputスピードはかってみた。 - When it’s ready.

    GAEの動作が意外に遅い。もっとぱぱっと保存なり、処理が終わると思いきや意外と数秒、時には20秒とかかかる。 EC2使えばもっと快適に出来るそうだよとか、そんな声も聞こえるが、Deployの簡単さやIOの拡大がノーコンフィグだったりするところは大変魅力なのでGAEも簡単にはあきらめられない。 そこで、実際に遅いとはどの程度遅いのか計ってみた。 文字と作成日時と更新日時とID的な数字があるだけのモデルをひたすらForで回し、一個ずつのputにかかる時間を計るだけのもの。保存する文字数と保存する個数をリクエストから引っ張ってくる。 感想 保存するモノがGQL的なモノを使わずソートなども行っていない、全くの新規というのが効いたのか、言うほど遅くないなぁという感じ。ばらつきはあるが、遅くても300msくらいで保存できてる。また、保存するテキストの量を1文字、10文字、100文字、1000文字にして

    エロティックHadoopにつられる前に、GAEのputスピードはかってみた。 - When it’s ready.
  • gae上でDataStore使わずにmemcacheで転置インデックス作ってみた。 - When it’s ready.

    あまりテストをしてないけど、少なくとも100倍くらい速いし、まず時間かけ過ぎで落とされない。これはとても大きい。 以下、コード def uniqueInverseIndex(feed_id, text): try: ngram = NgramTokenizer(feed_id, text) ngram.setNgramArr(2) except: response.out.write('NgramTokenizer make instance is faild') try: for i in ngram.getNgramArr(): InvIndex = InverseIndex.get_or_insert( "_" +i['word_text'], word_text=i['word_text']) InvIndex.feed_id.append(db.Text('%s:%s'%(i['

    gae上でDataStore使わずにmemcacheで転置インデックス作ってみた。 - When it’s ready.
    rawwell
    rawwell 2009/04/03
    "結果 この変更で、80Loopくらいでいっぱいいっぱいだったのに1600loopでも、楽々返す感じになってしまった。これはいい。 Old : New = 80Loopが20sec : 1600Loopが4sec = 4loop/sec : 400loop/sec 問題 転置インデックスは、このままでは、寿命
  • GoogleAppEngineでremote_apiを使う s_thx>tmatsuo - When it’s ready.

    GogoleAppEngineで、日語検索作ってたら、転置インデックスの作り方ミスった。簡単に直ったんだけど既にappspot.comで作成された転置インデックスが邪魔なので一気に消したいが、デフォルトのDashBordでは一気に消せるインターフェースが用意されていない。20個ずつポチポチ手で消していたら、寝ようとしていたtmatsu様が救いの手を差しのべてくれた。 「remote api あるお>http://code.google.com/intl/en/appengine/articles/remote_api.html」 それから色々やって、結局の所動いた。 ローカルのshから、直接Googleのサーバーのデータをいじれる。 実際に操作した物を貼ってみる。 % python appengine_cosole.py a2c-dev App Engine interactive co

    GoogleAppEngineでremote_apiを使う s_thx>tmatsuo - When it’s ready.
  • 1