Google App Engine でエンティティの一括削除の方法を考えてみる - Pyro Memo
EvernoteのAPIを使ったWebアプリをappengine上に作ろうとしてる。たまに既存のデータを全部消してフル同期する必要が発生しそうなので、なんとかこれを最小のコストで終らせたい。 ついでに汎用的な一括削除の仕組みができたら再利用できて嬉しいな、と思って、あれこれ考えて試作してみた。 調査したところ、 TaskQueueを使えば並列で処理が行なえて、しかも同時に実行した処理は1回分のCPU時間しか消費しないらしい memcacheのincr、decrを使えばタスクが残っているかどうかが判定できそうdb.deleteやdb.putを使うと、ループでエンティティからputやdeleteを実行するより速いらしいKey.from_pathでキーだけでdb.deleteした方が速いらしいということが分かった。 TaskQueueが要で、これにどうやって削除するエンティティを振り分けるかがポ
Google App EngineでフィルタしないリストはBlob化してキーで一括取得 - Pyro Memo
使いまわせそうな方法が見つかったのでメモ。 ユーザー毎にタグを作成できるような機能を作成していて、特定のユーザーのタグを一括で取得しようとする場合、普通にタグ毎にエンティティを作成していると、200件くらいのタグをuserでfilterして取得するだけでも結構時間がかかる。 class Tag(db.Model): """key_name is user_id/tagid""" user = db.ReferenceProperty(User) name = db.StringProperty() ... tag_list = Tag.all().filter("user = ", user).order("name") 色々調べてみたところ、検索に使用しないデータはシリアライズしてzlib圧縮してBlobPropertyに入れておくといいらしいことが分かった。考えてみるとタグはユーザー
Ubuntu9.10でGoogle App Engineのアップデートエラーを解決 - Pyro Memo
Google App Engine 楽しいですね。表題の件、僕のPATHの設定か何かが悪いのかもしれないけど、普通にappengineを配置して cd google_appengine ./dev_appserver.py プロジェクト名 すると下記のようなエラーが表示される。 ERROR 2010-03-01 17:18:14,354 appcfg.py:197] Could not find version file at /usr/lib/pymodules/python2.6/google/../VERSION ERROR 2010-03-01 17:18:14,354 appcfg.py:197] Could not find version file at /usr/lib/pymodules/python2.6/google/../VERSION INFO 2010-03-0
jQTouchでiPhone対応Webアプリを作成しはじめた。 - Pyro Memo
面白い。今のところ学んだり気づいたりしたところ。 リンクやフォーム処理は自動的にAjax処理化されるHTMLを1ページ用意しておき、そこにid属性つきdivを作成するだけで、個々のdivをページとして扱ってくれる。 ページ毎に個別のHTMLを用意する場合は、ページを表わすdivタグをルートタグとしたHTMLをサーバから返すこと。 デザインテーマを使えばiPhoneアプリ風画面が楽々作れる ページ遷移直後にjavascript処理を実行する方法が分からない 自分の今までの作り方とは全然ちがう洗練された作り方ができるので、すごく勉強になる。 jqtouchA jQuery plugin for mobile WebKit developmenthttp://code.google.com/p/jqtouch/ jQuery on iPhone - jQTouchを使ったWebアプリ開発http
GAEとPicasaでfaviconをPNGに変換して保存するAPIを作成する - Pyro Memo
Google App Engineで画像を扱いたい場合にPicasaが使えるかどうかを確認したかったので、favicon2png機能を作成してみた。 流れとしては、 ページのURLをリクエストパラメータとして受け取るPNG化したことのあるページならばデータストアからPicasa上の画像URLを取得して返却 未登録のURLならばfaviconのURLをfetchとBeautifulSoupを使って取得favicon画像をfetch images APIのresizeでPNGに変換 変換した画像をPicasaに登録 登録した画像のURLをデータストアに保存 モデルPicasaアルバムのIDを管理するモデルと、FaviconのURLを管理するモデルを作った Picasaアルバムモデルのkey_nameはアルバム名にする。用途に合わせて「favicon」とかつける。 from google.app
lxmlでHTMLページタイトル取得 - Pyro Memo
一応動くサンプル。あんまりテストしてないので、取得できないパターンはあるかも。 覚えておきたいのはxpathの設定方法で、どうやら //head/title/text() と書くとたまにうまくタイトルが取得できない場合があるようで、そんな場合でも //title/text() という風に直接タグを呼び出したら取得できた。 import re import urllib2 from lxml import etree def get_title_from_url(url, lxml_tree=None): if lxml_tree is None: lxml_tree = get_parsetree_from_url(url) if lxml_tree is None: return None title = None title_block = lxml_tree.xpath("//ti
nginx+fastcgi+djangoの環境を構築 - Pyro Memo
新しい開発環境を構築するにあたり、またApacheとmod_pythonで構築するのもアレだな、ということで流行のnginxを試してみた。 だいたいの情報は、 nginxホームhttp://nginx.net/ NginxJahttp://wiki.nginx.org/NginxJa nginx 一人 nginx 勉強会 第一回 nginx で Django を動かしてみるhttp://d.hatena.ne.jp/Voluntas/20071020/1192875482 NGINX + FastCGI + Djangohttp://dev.osso.nl/herman/blog/2009/07/28/nginx-fastcgi-django/ Tips for nginxhttp://labs.unoh.net/2009/08/tips_for_nginx.html あたりを見れば分かる
jQueryとDjangoでJSON形式でサーバから返したリストデータをセレクトメニューに表示 - Pyro Memo
DjangoのJSONデータ生成処理も、jQueryのタグ生成処理もなかなか使いやすい。 jQueryでサーバサイドを呼びだし、サーバサイドでDjangoでModelのリストをJSON化してクライアントに返し、それをselectタグ内のoptionタグとして生成する。 views.py from django.core import serializers from django.http import HttpResponse from testapp.main.models import * ... def models_reload(request): model_list = Model.objects.all() data = serializers.serialize("json", model_list[:30], ensure_ascii=False) return Htt
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google App Engine + app-engine-patchでビューが二回呼び出される現象 - Pyro Memo
Google App Engine でのプリントデバッグ - Pyro Memo
タスク管理ツールを作る - Pyro Memo