Memcacheでスピンロックを実装してTask Queue処理結果を集約してみるテスト - スティルハウスの書庫の書庫
TaskQueueで分散処理した結果をまとめるときは、排他を考慮する必要があります。Datastoreを使う場合なら、単に結果を新規エンティティとして追加したり、エンティティグループの楽観排他を使ったりすればOKです。一方、やっぱりMemcacheでスピーディーに集約したいよ、という場合は、Memcache上で排他を実装する必要があります。以前のエントリにちょろっと書いたMemcacheService#incrementでスピンロックという方法について説明してほしいというコメントをid:miztakaさんよりいただいたので、ここに改めて書きたいと思います。 Memcacheでは排他制御が必要 ご存じのとおり、App Engineはデフォルトで複数のApp Serverによるクラスタが構成されており、またMemcacheサービスはクラスタ全体で共有されるグローバルなキャッシュとして機能します
【Google App Engine】 TaskQueueは信用できないで御座候
ajn#4、面白かったで御座候。浅海先生、荒川さん、おつかれさまで御座候。今回は、TaskQueueが信用できない話をするで御座候。（ところで、御座候って書くと何かいいことあるの？） TaskQueueは必ず実行されるが正常終了するとは限らない TaskQueueはたしかに必ず起動される。例えば、"Request was aborted after waiting too long・・"というエラーになったとしても、正しく起動されるまでリトライされる。 しかし、起動してから30秒を超えた場合に、com.google.apphosting.api.DeadlineExceededExceptionやcom.google.apphosting.runtime.HardDeadlineExceededErrorが発生すると、そのTaskは強制終了となってリトライされない。※Exceptionをc
GAE/J SDK 1.3.1のDatastore自動リトライは地味にすごい : CB NANASHI管理人ブログ
2010年02月17日22:48 カテゴリGoogle App Engineサイト構築 GAE/J SDK 1.3.1のDatastore自動リトライは地味にすごい 2/10にGoogle App EngineのSDKの1.3.1がリリースされました。Query Cursorsや1000件制限の撤廃、非同期URLFetchなど、目を引く機能追加が行われています（Java SDKのリリースノート）。 地味ながら有益と思われるのがDatastoreの自動リトライ機能です。App Engine Blogによると、Bigtableに到達できなかったことによるエラーは（トランザクションのcommitを除いて）自動的にリトライされるとのことです。これによりエラー数はputで3〜4分の1に、getで10〜30分の1になるとのこと。ただ、アプリケーションでのリトライ処理自体が不要になるわけではないようです
GAE/Python で auto_increment « python練習帳
GAE/Pythonでデータベースを使う場合は、google.appengine.extパッケージのdbモジュールを使います。インスタンス間の関係は、ReferencePropertyを使ってあらわすのが自然なので、連番を振る必要があることはめったにないのですが、昨日公開した、URL短縮サービスでは、連番が必要になりました。しかし、GAEのデータストアには連番を振る機能が用意されていなかったので自作することにしました。 ※実は連番の実装がURL短縮サービスで一番苦戦した部分です。 連番生成 連番を作る手順は以下の通りです。 過去に作成した最大の番号を取り出す 1で取り出した番号より1大きい値を「新しい値」とする 2で作成した「新しい値」を保存する すごく単純な操作なのですが、マルチスレッド環境で確実に動作させるためにはトランザクションを使わないといけません。トランザクションを利用したコード
GAE/Jのデータストアに入れた画像データを表示する - tetsuya_odakaの日記
なんというか、ブログに乗せるのもみっともないのだが、小１時間ほど悩んでしまったので、メモとして残しておく。 先のログで、Struts1.3をつかって「GAE/Jのデータストアにあるバイナリーをダウンロード」してみた。 これでは「つまらない」し、「用途が限られている」ので、「データストアに入れた画像を表示しましょう」と思ったのが発端。習慣というか摺りこみというかは恐ろしい。「画像はファイルシステムにおいて、そこにリンクをする」という先入観がある。だが、GAE/Jでは（ファイルシステムへの書き出しが禁止されているので）、これはできない。ちなみに、昔懐かしいAppletも使えない仕様になっている。それで「さてさて」となってしまった。 「あらら、imgのsrcにアクションを指定すればいいんだね」と気がつくまでに小一時間。先入観は怖い。だが、簡単にできることがわかってよかった。以下は、そうやって表示
Image APIの機能について 画像の結合は可能なのでしょうか
Either email addresses are anonymous for this group or you need the view member email addresses permission to view the original message 鈴木と申します。GAE/Pythonで開発をしております。 Image APIの機能について教えてください。 データストアにblobとして保存している複数の画像を取り出して、 １枚の画像に結合したいと思っております。 PILの使い方を探して、以下のように書いてみましたが、 新しい画像を生成する（new）ところでひっかかってしまいます。 imagearr = HogeImage.all().fetch(8) concated_image = images.Image.new('RGB',(60,480)) count = 0
GAEjでお絵かき - COLUN++ BLOG
Google App Engine(以下、GAE)上で、アップロードした絵に文字を入れてくれる掲示板を作ろうかなと思っている。 GAEではJavaの画像処理関係のライブラリはほとんど削られているが、いくつかの画像を合成する機能ぐらいは持っている。 しかしながら、1万文字以上もある日本語文字を全て画像として用意するわけにもいかない。 また、画像として文字を用意するのであれば、容量が大きくなるか、クオリティが低くなるか。 １文字ごとに別ファイルにして１万ファイルというのは、GAE上にアップ可能な静的ファイルの数制限に引っかかるので、１つのファイル内に複数の文字を収納する必要がある。 あるいはストレージ上に文字画像データを持たせることだが、やはりどうにも、非現実的な気がするのだ。 そこで、GAE上でフォントファイルを使って文字画像を生成しようというのが、今の所の予定。 フォントファイル描画は、こ
Google App Engine for Javaで画像にマスクをかける - 学生時代に頑張ったことが何もない
以前も書いたが、Google App Engine for Javaではjava.awt.image.BufferedImageなんかが使えないので、代わりのImage Manipulation APIを使うしかない。これには画像を合成する機能はあるが、図形を描く機能はない。しかし仕事で動的に生成したマスクを画像にかける必要が出てきたので、なんとかしなければいけなかった。 最初に、1ピクセル四方の画像を読み込んでそれをひたすら合成してマスクを作ることを考えた。ImagesServiceFactoryのmakeCompositeでひたすらCompositeを作成して、Listに格納して、ImagesServiceのcompositeでまとめて合成しようとするとエラーが出た。エラーメッセージによると、まとめて合成できるCompositeは16個までらしい。そんなに少ないならリファレンスにそう書
GAE/J でアクセスカウンターを作った - すぎゃーんメモ
Google App Engine でカウンターを作ってみた(再) - すぎゃーんメモの続き。というか変更。 以前にPython版で作ったGoogle App Engine上で動くアクセスカウンターを、Javaで作り直してみた。 http://gae-counter.appspot.com/ 基本的な作りは同じで、 Google Accounts APIでユーザー認証 ユーザー毎に３つまでのユニークなカウンターを作成 カウンター毎に画像URL(PNG or JPEG)を提供 アクセス毎に画像の数字が増加 アクセス情報(時刻、UserAgentなど)を記録 という程度。ちょっと使う画像を選択できたりサイズを少しだけ変更できるようにしてみたりした。 カウンターを分散して負荷に耐えられるように、といった工夫はしてないｗ ソースはGitHubで公開しています。 http://github.com/
GAE/Python 入門者向けTips « Stop Making Sense
August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) はじめに この数ヶ月、GAE/Python の勉強を兼ねて幾つかのGAEアプリを作りました。 その過程で気づいたこと／ハマったことをまとめました。 Tips一覧 今回取り上げる Tips は次の通りです。 開発環境 Python2.5 を使う 最新の
GAEのPILインストールがうまくいかない - ほげほげ（仮）
何故かPython分かんないのにGAEをPythonでやろうとしてる、オレです。 さっそくハマったのでメモです。 環境はMac OS X 10.6.6です。 Images APIを使いたいと思ったのですが、PILをインストールしろ的なエラーメッセージが出ました。 Unable to find the Python PIL library. Please view the SDK documentation for details about installing PIL on your system. PIL のインストール - Google App Engine - Google Codeを参考にしてとりあえず、MacPortsでインストールしてみました。 はい、エラーが消えません。 Pythonもイマイチ分かってないのにどうればいいのかサッパリですが、何となく諦めきれずにググって色々と
Google App Engine for Javaではjava.awt.image.BufferedImageが使えない - 学生時代に頑張ったことが何もない
バイトでGoogle App Engine for Javaを使うことになった。Javaを使うのは初めての体験だ。画像を読み込んでピクセルごとの色を取り出す必要があり、java.awt.image.BufferedImageというクラスを使えばいいらしいことがわかったが、いざコンパイルしようとするとエラーが出る。調べるとjava.awt.image.BufferedImageはGoogle App Engine for Javaで使えないことがわかった。ほかにも使えないクラスは沢山あるようだ。 JRE クラスのホワイト リスト - Google App Engine - Google Code 代わりに画像処理用のAPIが用意されているが、機能はそれほど多くない。特にピクセル単位での処理はできないようだ。 Images Java API - Google App Engine - Goog
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Issue Tracker
http://slim3demo.appspot.com/performance/
Google App Engine for Javaを使ってみよう！ （2）Images Java API の使い方
CONIT開発室 » Google App Engine
App Engine for Java: [appengine-java] Instead transparency I get black
é¢æ° - Google App Engine - Google Code
Google Code Archive - Long-term storage for Google Code Project Hosting.