Google App Engine で全文検索 - Pyro Memo
Google App Engine には今のところ全文検索機能がないので、色々試してみた。検索処理についての知識は、Web+DB Pressの53号を読んだ程度。 やりたいことは、Twitterみたいな感じで各ユーザーが短い文章を登録するようなサービスで、その発言内容からキーワード検索したい。できれば、スペース区切りで複数のキーワードを指定して絞り込みができるようにしたい。appengineなので、インデックス作成や検索処理だけで割り当てがなくならない程度に効率的に。 下記の3つの方法を試してみた。接尾辞配列もどきn-gramもどき オーソドックスn-gram で、結果として、3番目のオーソドックスなn-gramが今のところうまく動いてるっぽい。失敗パターンにも色々学ぶところはあったので、それぞれメモをまとめておく。 接尾辞配列もどきまず最初に試したのがこれ。接尾辞配列というのは今回のサー
Google App Engine の Model を JSON に変換する方法 - present
Google App Engine (以下 GAE) で結果を JSON で出力したい場合、GAE SDK に同梱されている Django の simplejson を使えばいい。ただ問題があって、simplejson で JSON にできるのは、Python の組み込み型*1だけ。Model や GqlQuery を JSON にはできない。 対応策として思いついたのは、Model や Query の内容を dict に詰める方法と、カスタム JSONEncoder を作る方法の２つ。私が選択したのは後者。 class GaeEncoder(simplejson.JSONEncoder): def default(self, obj): if hasattr(obj, '__json__'): return getattr(obj, '__json__')() # db.Query に対
GAE/Pythonテスト環境に欲しいもの - たごもりすメモ
いまPython on GAEのテスト環境の貧弱さをなんとかするべく、あれこれやってる。とにかくテスト環境がショボいんだよね。 App Engine/Pythonはローカルのデータストアのstubの出来が良くないので、ローカルとプロダクションで動きが違うことが結構あり、ローカルでテストできることが限られてしまいます。Javaの方は、Statisticsの機能を除いては、ローカルとプロダクションの動きはほとんど同じです。stubレベルでは、ローカルでプロダクションと違う部分もあったりしますが、Slim3でおなじになるように実装してたりするので、ほとんど違いがないのです。 プロが仕事で使う場合にApp Engineでどの言語を選べばいいのか - ひがやすを blog ぐうの音も出ない！ 事実だ！ じゃ、プロならJavaを使った方がいいかというとそんなこともありません。好きで慣れている方を使った
Google App Engine + Pythonプログラミング環境としてPeggy - FutureInsight.info
Peggyというプログラミング用エディタをご存知でしょうか？ 岐阜＆山形セフレと出会い系の掲示板でママ活しよう 僕も@asheltwに教えてもらうまで知らなかったのですが、これがなかなかいいエディタです。 今までPythonのソースコードを書くときは、Eclipse + PyDevでやっていたのですが、これがいつまでたっても手になじみません。理由はいくつかあるのですが、ざっと上げてみると、 起動がそもそも遅い 変数の補完がかなり適当 シンタックスエラーの表示が明示的じゃない インクリメンタルサーチの仕方が未だにわからない など、まぁ、僕があまりEclipseの仕様が好きじゃないことが主な原因なのですが、最近Google App Engineで本格的にプログラミングを再開しており、このまま我慢してEclipseを使い続けるよりも自分の手になじむ開発環境を作ろうと思い、Pythonの開発環境を
Google App Engineで全文検索 - 星屑日記
調べた限りGAEには（日本語を）全文検索する機能はついてない。なのでちょっくら作ってみました。一応動くのは出来たけど、いろいろ不満な点が多い。転置インデックスはN-gramでN=2で作成。サンプルをサイトで公開してますが、検索は完全一致で結果の順位は考慮してません。最もシンプルなシステムで、検索語句を入力すると、Datastoreに格納されているその語句が含まれる文章を表示し、検索語句を強調表示します。また、100文字以下の文章ならDatastoreに格納できます。何故100文字以下かというと、文字数が多くなるとそれに伴い転置インデックスの作成量を増えていきます。となると、処理時間も長くなってGAEの処理時間オーバーのエラーが発生してしまう。うーん、もっと効率のよい転置インデックスの作成方法がないものか。全文検索の心臓部分のコードは以下の通り。GitHubにも置いてます。 http://g
Google App EngineでのXMLを使った処理 - voidy21の日記
サンプルURL http://voidy21.appspot.com/nicotag_example/index.html どうやっているか XMLから情報を得たいときには XML文字列そのものを取得 その文字列をパースする(DOMを取得) DOMから指定したタグの情報を取得する という流れになると思うんですが、Google App EngineでXMLのパースをどうやってやればいいかちょっと悩んだので書いておきます。 まず1.はgoogle.appengine.apiのurlfetchを使えばOKです。 問題は2と3なんですが、今回はxml.domのminidomを使ってみました。 本当はElementTreeというPythonのXMLパーサライブラリを使うと もっと柔軟にかつ楽にXMLを処理できるのですが、Google App Engineではデフォルトで使えないのでやめました。*1
Google App Engine入門：実行効率を犠牲にせずに開発効率だけを上げるテクニック
一つ前の富豪プログラミングのエントリーともつながる話だが、Google App Engineは「ちゃんとスケーラビリティを考慮してアプリケーションを作るには何に気をつけなければならないか」を勉強するには絶好の環境だ。そこで今回は、その「ケチな大富豪的なプログラミング」の実践編。 Google App Engine上のアプリをいくつか書いているうちに、必要に迫られて自然発生的にできてきたのが、gdispatchという数十行のコードからなる小さなモジュール（ソースコードはgithubに置いてある）。これをGoogle App Engineに標準で付いて来るwebappと組み合わせてフレームワークとして使っている。 gdispatchを設計する上で重視したのは、 （１）Google App Engine上でのアプリの開発を効率化する上で「明らかにこれがあると開発効率が格段に向上する」というもの以
TwitterからTwitterAPIを使わずにスクレイピングしてみる - voidy21の日記
自分はまだTwitterのアカウントを持ってませんが、Twitterから情報を取り出してみたくなったので前時代的な方法でやってみた。 Google App Engine(Python)を使ってみました。 html解析はBeautifulSoupというライブラリを使うと便利なのですが、色々と面倒なので今回は正規表現で無理やり抽出しました。 これくらいはJavascriptだけでも出来そうですが、Googleの有り余る資源を有効活用させてもらうということで・・・。 サンプルURL http://voidy21.appspot.com/twit_status 以下にあります！ 使い方 GETメソッドで callback : コールバック関数名 twitter_id : twitterのアカウント名 status_num: 発言のステータスid を指定する 例えばhttp://twitter.co
インタープリタのスタックフレームにアクセスし、メソッドの呼び出し元のオブジェクトを取得する - Kazumi007の日記
いまさらながらPythonにハマっています。Google App Engineが超楽しいですね。さて今日は、GAEではなくて、Pythonの言語機能を紹介します。環境はPython2.6.1、Mac OSX 10.6.1で試しました。 Pythonではinspectモジュールを使うことで、インタープリタのスタックフレームにアクセスすることができます。これを使って、Pythonで呼び出し元のオブジェクトを取得してみます。 #!/usr/bin/env python # -*- coding: utf-8 -*- import inspect def caller(): try: # フレームレコードのリストを取得する framerecords = inspect.stack() # 二つ前のフレームレコードを取得する fremerecord = fremerecords[2] # タプルから
GoogleAppEngine上のDjangoでカスタムフィルタを作成する - ナマアシタノム
Google App Engine(for Python)上のテンプレートシステムDjangoでカスタムフィルタを作成する為の手順をメモ。 Djangoで「はてなブックマーク数の画像を表示するためのimgタグをURLから生成」みたいなことをしようとするとテンプレート側で処理した方がすっきりしていいですね。テンプレートに渡す変数も少なくて済みます。 テンプレート側(こんな感じで使えるようになります) {{ url|imgtag_hatebu }} たとえばurlが「http://d.hatena.ne.jp/ashitano244」とすると、 自作したimgtag_hatebuフィルタを通すことで <img src="http://b.hatena.ne.jp/entry/image/large/http://d.hatena.ne.jp/ashitano244"/> と置換されて出力されま
自宅でPubsubhubbubのPub,Sub,Hub一式を動かしてみた - 今日もスミマセン。
とりあえず自宅のMacでPubsubhubbubが動いたのでメモ 環境 Mac OS X 10.5.8 Python 2.5.2 Google App Engine SDK for Python 1.2.4 - 08/06/09 Pubsubhubbubのソースをチェックアウト GoogleCodeでホストされているリポジトリからPubsubhubbubのソース一式をチェックアウト $ svn checkout http://pubsubhubbub.googlecode.com/svn/trunk/ pubsubhubbub-read-only Hub,Publisher,Subscriberを起動する Pubsubhubbubには以下のようなディレクトリがあり、それぞれHub,Publisher,Subscriberのリファレンス実装がGAEアプリ(Python)として実装されている。
Big Sky :: pytumblrをGoogle App Engineで動くように改造してみた
こんなのあるんだ... freshmeat.net: Project details for pytumblr - ロックスターになりたい pytumblr is a Python library for the tumblr.com API. freshmeat.net: Project details for pytumblr そう言えば前に「Windowsのエクスプローラで「送る」からShareOnTumblr」なんてのも作ったなぁ。 pythonで作ってあってlinuxなんかでも動くように作ったはず。 でpytumblrですが、ソース見たら簡単なソースだったのでGoogle App Engineで動くように改造してみました。以下パッチ --- pytumblr.py.orig Thu Apr 24 03:15:26 2008 +++ pytumblr.py Thu Apr 2
Google App Engine – GAE で twitter のリプライをチェックしてメールでお知らせ | trash-area.com
最近 GAE こと Google App Engine + python で遊んでます。 なかなかマゾくて楽しいかもしれません。 で、GAE の標準機能から ・URL Fetch API … URL をフェッチして Web 上の他のリソースにアクセス ・Mail API … メールを送信 ・Datastore API … DBみたいな感じ ・cron … 指定した日時などでコマンドを実行 と、twitter API の mentions を利用して、自分宛のリプライまたは言及があるポストを任意のメールアドレスに転送するサンプルを書いてみました。 python の文化がまだいまいちよくわからんので なんか記法とか違うかもしれませんが、とりあえず全部貼ってみようかと。 数あるサンプルの足しにでもなればいいなーと。 ちなみに、”new_project_template” からなるべく構成はいじっ
GAEでTwitter botを作った - すぎゃーんメモ
初めて、Twitter botなるものを作ってみた。 http://twitter.com/zenra_bot 公式ページ：http://zen-ra.appspot.com/ フォローするとフォローし返します フォローを外されると同様にフォローを外します フォロワーの発言を拾って、勝手に全裸に書き換えます 例：「@sugyan が全裸で言った: ********」 非公開の発言は拾わないようにしています。 たまに独り言もつぶやきます 実装 Google App Engine(Python)で作りました。 ソースコードはGitHubにて公開しています。 GitHub - sugyan/Zenra: 全裸にする 基本的にcronでフォロワーのチェック&更新、つぶやきを行っているだけ。 特に外部のライブラリを使わずにGAEのurlfetch APIでTwitter APIを直接叩いたり。 一番
３日悩んだ問題が解決！ - 幸せプール
どうも。Python お勉強中のぷりっけです。 Google App Engine の webapp の仕様がちょっと気に入らなかったので、 URLのディスパッチとコントローラー部分を自作していますが、 Cookie をハンドルするメソッド回りで文字化けが発生して困ってました。 Request/Response オブジェクトには、WebOb を使いました。 で、クッキーに保存する値は、urllib.quote で url エンコードします。 value = urllib.quote(value) response.set_cookie(key, value) で、読み出す時は、urllib.unquote でデコードします。 value = request.cookies.get(key) value = urllib.unquote(value) ところがこれだと日本語文字が文字化けする
はてブ Web HookとGAEで「[これはすごい] in リアルタイム」を作った - 医者を志す妻を応援する夫の日記
はてなブックマーク上でのイベントを他のWebアプリにHTTPで通知する、はてなブックマーク Web Hook。遅ればせながら、使ってみました。 (開発者さま向け) はてなブックマーク Web Hook 機能を公開しました - はてなブックマーク日記 - 機能変更、お知らせなど はてなブックマーク Web Hookとは - はてなキーワード naoyaの日記 - naoyaグループ あらかじめ、自作Webアプリ（CGIとか）のURLを登録しておきます。で、はてブしたときに、そのURLに情報をPOSTしてくれるわけですね。 すぐに思いつくのが、Twitterへの投稿。 はてブの Web Hook で Twitter を更新する - IT戦記 さすが、id:amachang。仕事がはやい。 私は、趣向を変えて、こんなのを作ってみました。 Error 404 (Page not found)!!1
Google App Engine でBasic認証を実装 改 - すぎゃーんメモ
Google App Engine でBasic認証を実装 - すぎゃーんメモから少し改良してみた。 # -*- coding: utf-8 -*- import logging from base64 import b64decode from google.appengine.ext import webapp class BasicAuthentication(webapp.RequestHandler): def __init__(self): logging.getLogger().setLevel(logging.DEBUG) def get(self): # Basic認証 if self.__basicAuth(): self.response.out.write('認証されたよ！') else: code = 401 self.error(code) self.respo
デベロッパー ガイド - Google App Engine - Google Code
ãããããã¼ ã¬ã¤ã Google App Engine ã¸ãããããã®ãããããã¼ ã¬ã¤ãã¯ãGoogle æè¡ã使ç¨ãã¦æ¡å¼µå¯è½ãª Web ã¢ããªã±ã¼ã·ã§ã³ãä½æããããã«å¿ è¦ãªãã¹ã¦ã®ç¥èãç¶²ç¾ ãã¦ãã¾ãã ãã®ã¬ã¤ãã¯ã次ã®ã»ã¯ã·ã§ã³ã§æ§æããã¦ãã¾ãã æ¦è¦ Google App Engine ã«ã¤ãã¦ãApp Engine ã®æ©è½ã¨ãµã¼ãã
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://appengine-cookbook.appspot.com/recipe/a-simple-cookie-class/?id=ahJhcHBlbmdpbmUtY29va2Jvb2tyqgELEgtSZWNpcGVJbmRleCJGYWhKaGNIQmxibWRwYm1VdFkyOXZhMkp2YjJ0eUhnc1NDRU5oZEdWbmIzSjVJaEJYWldKaGNIQWdSbkpoYldWM2IzSnJEQQwLEgZSZWNpcGUiR2FoSmhjSEJsYm1kcGJtVXRZ
cpedialog - Google Code