Emerge Technology: Google App EngineでFlaskでjinja2を使ったときのメモ
生まれ変わった「Days of Liris」。プログラミングのこと、Pythonのこと、気になったソフトウェアのこと、身の回りのこと、いろんなこと。など Google App EngineでもDjango使っている人が多そうな気がしますが、僕はDjangoはよく分かりません。Djangoの本は買ったりしましたが1ページも読んでません。Pythonでは普段は大体Flaskを使っています。これぐらいの規模のフレームワークが僕にはしっくり来ます。それで、GAEでFlaskを使って開発しようとしたときのメモです。 はやりはbuildbotを使って環境を構築するらしいので、それにならいます。「Flask on Google App Engine(buildbot編)」を参考に、というか、そのまんま作業します。コマンドプロンプトで作業プロンプトでプロジェクトのディレクトリに移動して次のコマンドを実行し
Google App Engine / Python 上での開発で最初から知ってればよかった、ってことをいくつか - Masatomo Nakano Blog
ここ数ヶ月、Google App Engine/Pythonを使い、初めてちょっとしたものを作ってみているのだけど、開発初期から知っておけばよかったなー、と思うノウハウ/tips的なものをずらずらと書いてみる。 基本的な環境設定は、 以前書いた まま。 0. 公式ドキュメントを良く読む 言うまでもなく、だけど、 マニュアル はもちろん、 この辺 の下の読み物も、流し読みだけでもしておいたほうがいい。 datastoreとmodel的なところ 1. key nameを使いこなす key nameは、レコードの作成時に指定できる(RDBでいう)primary keyの別名みたいなもの。primary key自体は自動的で作成されるので開発者が指定できるのはkey nameだけ。 key nameをうまく使うことで、datastoreを使いやすくすることができる。特にdatastore上で"un
Google App EngineでGlobal Transaction - ひがやすを技術ブログ
Google App EngineにはTransactionは1つのEntity Group内でしかできないという制限があります。詳しくは、App EngineのEntityGroupを理解しよう - yvsu pron. yasを参照してください。 そうするとある口座から別の口座にお金を振込むような送金のパターンで、Transactionを利用することができません(すべての口座を1Entity Groupに押し込むと更新がぶつかって現実的ではないから)。送金パターンで整合性を保つためには、理論的には次のようになります。 http://songofcloud.gluegent.com/2009/11/blog-post_18.html 実装するとこんな感じ。 http://blog.notdot.net/2009/9/Distributed-Transactions-on-App-Engi
ここが大変だよBigtableとGoogle App Engine
2つのインデックス「シングルプロパティ」「コンポジット」 「シングルプロパティインデックス」がカギ Datastoreサービスでは、あるテーブルに含まれるすべてのエンティティについて、すべてのプロパティ（テーブルのカラムに相当）の値をキーとして並べた「シングルプロパティインデックス」と呼ばれるインデックステーブルが自動的に作成されます。 例えば、テーブルEmpが備える「name」「age」「dept_key」という3つのプロパティについて、「テーブル名＋プロパティ名＋プロパティ値」をキーとし、「Empテーブルの各行のキー」を値とする以下のようなインデックステーブルが作成されます。 Datastoreサービスでは、このシングルプロパティインデックスを用いることにより、アプリケーションが実行するクエリを「インデックスとスキャンの組み合わせ」に背後で変換しています。 例えば、上述の「age >=
AppEngineのInBoundMailを使ってTwitterを更新した。 - tetsunosukeのnotebook
更新のAPIにはTweepyを使ってみた。 InBoundMailのサンプルについては、CookBookの例を見てもらうとして、本文の日本語の文字コードからみがうまくいっていなかった。なんだかわかっていなかったけど、Bエンコードの文字列になっていたので、要はMIME関連ですね、と。 というわけで、email.Headerと、unicode関連のメソッドを用いて下記のように。これでtwitter側への投稿に成功した。 #!/usr/bin/env python # -*- coding: utf-8 -*- import logging from google.appengine.ext import webapp from google.appengine.ext.webapp.mail_handlers import InboundMailHandler from google.appe
App Engine 1.2.6 - hidemonのブログ
公式ブログによると，1.2.6がリリースされたようだ．主な変更は， ついにメイル受信に対応．予想どおり，Web Hookパターンで書く．任意のメイルアドレスのメイルが受け取れるようなので，いろいろと便利に使えそうだ．また，開発サーバのコンソールから，受信メイルをエミュレートできる．至れり尽くせり． アプリの削除ができるようになった．これまでは，登録はできるけど一度登録したアプリを削除できなくて，10個のリミットに簡単に到達していた．アプリの名前がURLと連携しているので，登録し直せるということはURLを変更できるということなので，かなり有意義．でも，アプリ名の再利用はしないようなので，だれかがこれまで使っていたアプリ名を，他の人が使えるようになるわけではない．たしかにこれをやるといろいろめんどうなことがおきそうだ． データストアの利用統計を見られるようになった．Consoleからも見ること
TaskQueueをローカルでデバッグする方法 - ひがやすを技術ブログ
SDK 1.2.5からGoogle App EngineにTaskQueueが導入されましたが、ローカル(development server)でデバッグはできないと思っている人が結構いるようなので、やり方を書いておきます。 ローカルの環境では、Queueにaddしたタスクは、自動的には実行されず、Queueにたまっています。たまっているタスクを実行するには、http://localhost:8080/_ah/adminにアクセスし、左側のTask Queuesのリンクをクリックします。 すると、Queueの一覧が表示されるので、そこでQueueのリンクをクリックすると、タスクを実行する画面に遷移します。そこで、runのボタンを押すと、ローカルでQueueのタスクを実行できます。 Web ApplicationをDebug Asで起動しておけば、EclipseからDebugすることもできま
Curl＋JRuby＋Google App EngineでTwitter風アプリを作る ～ローカル環境構築編～
はじめに Twitterは140文字以下の短いメッセージをつぶやきあうシンプルなサービスです。新しいコミニュケーションの形として利用している人も増えてきました。 Google App Engine（以下 GAE）についてはご存知の方が多いと思います、Googleが提供するクラウド環境で、ある規模までのアプリなら無料で使えます。また、GAEは単なるサーバ環境の提供ではなくスケーラビリティと信頼性が得られるアプリケーションの実行環境です。しかし使える機能やデータ管理の方式はGoogleの提供するSDKに従う必要があります。 GAEは2009年4月からは、Pythonに加えJavaがサポートされるようになりました。本連載の第1回目でふれたように、Rubyの処理系にはまつもと氏の作った処理系（MRIと呼ばれます）以外にも、Javaで作られた JRuby という処理系があります。JRuby はJav
Google App Engineで、index.yamlに記述したインデックスが正しく生成されないときの対処法
Google App Engineで、index.yamlに記述したインデックスが正しく生成されないときの対処法 Google App EngineでDatastoreのindexを利用したアプリケーションを作成していたのですが、運悪くindexの生成がいつまで経っても終わらない現象に見舞われてしまいました。データ量はたかだか1000件程度しかないのですが、3日経ってもindexの状態が"Building"のまま。Googleグループの書き込みを見ると（http://groups.google.co.jp/group/google-appengine/search?group=google-appengine&q=index）、indexの生成に失敗するというケースがたびたび発生しているようです。 index対象となるモデルの数は全く関係がない。数件しか保存されていないモデルに対してind
Google App Engine + Githubで静的サイト管理·DryDrop MOONGIFT
静的コンテンツのWebサイトを管理する場合、どうしても面倒でバージョン管理なんてしていられないと思ってしまう。そのため、単なるフォルダにHTMLや画像、CSSファイルなどを入れて作ってしまいがちだ。最初はよくとも、後々変更したり改修しているとバージョン管理しておけば良かったと気づくかも知れない。 管理画面 だがバージョン管理用のサーバを立てたり、デプロイしたり…そんな面倒なことはしたくない。そこで使ってみたいのがDryDropだ。 今回紹介するオープンソース・ソフトウェアはDryDrop、Google App Engine（GAE）とGithubを使った静的コンテンツ管理システムだ。 DryDropはGAEを使いながら、動的ではなくあえて静的なサイトを管理するというシステムだ。さらにそのコンテンツをGithubで管理する。DryDropの管理画面ではGithubのコンテンツ配置場所を指定し
GAE/Jアプリ開発のTIPSまとめ : CB NANASHI管理人ブログ
2009年09月09日20:38 カテゴリGoogle App Engine GAE/Jアプリ開発のTIPSまとめ Google App Engine for Java関連の記事が随分と溜まってきましたので、まとめ記事を作ってみました。今後も記事追加時にはこの記事を更新していきたいと思います。 GAE関連ブログをお書きの他の方のように、バックエンドの技術に対する深い考察などはありませんが、実際にアプリケーションを作成してみた上で遭遇したトラブルや小技を書いています。また、なるべくGoogleのドキュメントには記述されていないことを書いたつもりです。 GAEでアプリを開発される方の参考になれば幸いです。 ■対象のアプリケーション 次のアプリケーションを作成した上でのTIPSです。 Cycle Base NANASHI -サイクルベース名無し- 自転車用品・パーツのレビューまとめサイト。2ch
GAE/Python で Twitter bot を作る(後編) - SPEAKER BREAKA
準備編 の続きは明日書くとか言っときながら、間が空いてしまいましたが後編を。 残るは肝心のハンドラ部分を実装していきます。 views.py の作成 main.py で指定したように、 /：TOP画面。ハンドラは MainHandler /ssbbot/mumble/update/：cron がここを叩いて更新処理を走らせる。ハンドラは BotHandler という感じで views.py を実装して行きましょう。 #!/usr/bin/env python # -*- coding:utf-8 -*- import logging from google.appengine.ext import webapp import twitter import ssb import bitly from models import MumbleModel def my_twitter_api_i
Google App Engineのデータストアで親子関係を使う : Everyday FunkiEE!!
8月11 Google App Engineのデータストアで親子関係を使う カテゴリ:My Google App EngineMy Python Google App EngineではGoogleのデータベース「Big Table」がつかわれてるわけなんですが、「RDBと違う」という記述はひたすらに目にしても、どう違うのかが具体的に見えてこなかった。 今日いろいろそのあたりが見えてきたので、分かった範囲でメモメモ。 エンティティ間の親子関係これは、Modelのインスタンスに対してparentというプロパティに親エンティティを設定してやればいい。 child = Child(param1 = hoge, parent = parent_obj) これで、putしてやると、DBから取得する際に以下のように親を指定してエンティティを取得することができる。 q = Child.gql("WHERE
Google Apps Engine/Javaのセッション管理 - tetsuya_odakaの日記
Google Apps Engine（GAE）では、Java6.0の実行環境とServlet API 2.5に準ずるサーバー環境が提供されている。Servlet APIバージョンはスタブとして作成されるweb.xmlから見て取れる。 仕様の中で気になることの１つが「セッション管理」である。 Webアプリケーション・サーバーをスケールアウトした構成にする際に必ず出てくるのが、「セッション・レプリケーション」という技術。これは、複数のサーバー間で、セッションIDやセッションオブジェクトを、active-activeな関係でコピーし合うものである。これができないと、アプリケーションサーバーをスケールアウトし、完全な形でロードをバランスさせることができない。 （とはいえ、ロードバランシングの方法論にも色々あって、クライアントのIPアドレスでスティックするような方法を取れば、セッション・レプリケーシ
GAE/Python で Twitter bot を作る(準備編) - SPEAKER BREAKA
先のエントリで bit.ly API モジュールやら Stack Stock Books API モジュールを作ったので、Google App Engine 上で動作する Twitter bot を作ってみます。 先のエントリとやらはこの辺です。 bit.ly API モジュール Stack Stock Books API モジュール どんな処理にしましょうか？ ざっくりとこんな感じで。 Stack Stock Books から最新のつぶやき取得 Datastore に保存した前回のつぶやき情報と比較 新しい情報ならば、Twitter への投稿文言生成 Twitter へ投稿 Datastore に最新つぶやき情報を登録 これらの処理を一定間隔で回す ということで、URL 的にはこんな感じに。 /：紹介文でも表示しましょう /ssbbot/mumble/update/：cron がここを叩
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
OAuth for Python - Google App Engine - Google Code
株式会社 オリエンタルアーツ｜pirka｜ソフトウェア開発｜
Bigtableで!=nullが使える - ひがやすを技術ブログ
はてなブログ | 無料ブログを作成しよう
