タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

PythonとTask Queueに関するdotredのブックマーク (1)

  • GAE Python で Task Queue - eggmanの日記

    クラウドしたいということで、Google App Engine で遊びはじめた。 まず、たくさんのデータを登録するために、PythonでTask Queue APIを使ってみた。 例の動作内容 OPMLを取得する OPMLのXMLをperseしてmemcacheに入れる。 200件ごとに分割してTask Queueに登録する。 Task Queueに登録すると勝手に、CPUに割り当てて並列実行してくれる。無料版の場合、最大5個まで同時実行してくれる。並列に実行しているのを見ると楽しい。 DataStoreへの登録は1-10件/1秒らしく、200件で24秒かかる。分割を250件にすると30秒を超えてTaskが途中でkillされる。 DataStoreに5000件登録するだけで、無料版のCPU時間の2%を使ってしまう。ということは、無料版だと25万件登録するとCPU時間のQuota/1dayに

    GAE Python で Task Queue - eggmanの日記
  • 1