TweetProcessingはじめました - しゃの
TweetProcessing 永遠のβ版。 Twitter+Processingみたいなもの 以前、ProcessingのスケッチがTwitterで書いたりできたらおもしろいなー、と思ったことがありました。 SuperColliderもそんなことやって[sc140]なるアルバムを出してた人いたし。 SuperCollider » sc140 Twitterで作曲した音楽アルバムが世界初公開 -INTERNET Watch 既に誰かやってるのかと探してみたら、アイデアはAndy Best氏が出してたんですが、サービスはなかったのでつくってみました。 Processing Sketches in a Tweet | andybest.net Twittering Processing Sketches | CreativeApplications.Net abstractmachine »
Big Sky :: Google App EngineのアプリケーションをGoで書ける様になった。
僕にとってデカいニュースが飛び込んできた。 Goの開発プロジェクトに関わってて良かった。今日はそう思える日になりそうだ。 まだGoogle App Engine Blogにもエントリされてないが、Google App EngineにGo言語が仲間入りした。 Downloads - Google App Engine - Google Code Google App Engine SDK for Go http://code.google.com/intl/en/appengine/downloads.html#Google_App_Engine_SDK_for_Go Go言語は元々Google社員が開発している言語で、コンパイル型言語とは言えDuckTypingを前面に押し出した、スクリプト言語に近い仕様になっています。またWebに関するAPIは豊富で短いコードで簡単にWebアプリケーショ
BPStudy #40 - Google Appengine 1.4.0
16. メタデータクエリー Namespace 、 Entity 、 Property のメタデータをクエリーすることができるようになりました。 for namespace in Namespace . all(): print namespace . namespace_name for kind in Kind . all(): print kind . kind_name for property in Property . all() . ancestor(kind): print " %s" % property . property_name
Using Federated Authentication via OpenID in Google App Engine - Google App Engine - Google Code
Using Federated Authentication via OpenID in Google App Engine Wesley Chun July 2010 SDK: 1.3.4 Federated authentication (OpenID) was introduced to App Engine in SDK 1.3.4 (May 2010), integrated as part of the Users service (Python | Java). The content here is intended to complement the existing documentation. The features outlined here cannot be used in older versions of the SDK. Background Fed
AppEngine ja night #11 に行ってきたよ - たごもりすメモ
いま見てみたら ajn10 のときはblogエントリ書き忘れてた……。まあいいや。 YAPC二日目のあと、そのまま AppEngine ja night #11 に移動して参加してきました。感想などをつらつらと。ひとセッションで自分もしゃべりました。 なお遅刻したため最初のセッションは聞けなかった。全文検索の話だったはず。 「appengineを携帯サイトで使ってみた」@yanaginさん ATNDに携帯サイト向けの画像処理とか書いてあってなんのこっちゃと思ってたら、けっこう違っててGAEをCDNがわりに使おうという話だった。資料はどこかに上がるのかな？ 簡単にまとめると以下のような感じ。 携帯サイト向けに使ってる今のデータセンタが、回線の帯域が細いのでアクセスが増えたときにサチっちゃいそう 回線帯域を増やしてもいいけど、お金かかる これまで使ってみていたAppEngineを仕事でも使って
Multi-tenancy Support, High Performance Image Serving, Increased Datastore Quotas and More Delivered In New App Engine Release
News, notes, tips and tricks from the Google App Engine Team Today marks the 1.3.6 release of App Engine for Java and Python. In this release we have made available several exciting new features, relaxed quota and datastore limitations, and added various issue fixes. Multi-tenant Apps Using the Namespaces API We are pleased to announce support for multi-tenancy for applications via the Namespaces
Google App Engineでランキングやページングを実現する - $koherent->diary
昨日一昨日、Google App Engine (GAE)に関する日本最大の勉強会（だと思う）appengine ja night #7 (ajn7)が行われました。 その中で『ランキング問題』が話題に上がりました。『ランキング問題』とは、何十万件もの点数のデータがあるときに、App Engine上で、「◯点は何位です」と高速に求めることは難しい、という問題です。（◯ページ目を表示、というページングもこれと同じ種類の問題になります。） ajn7では「上位でない限り正確な順位は必要ないのではないか」という話になりましたが、Skiplistを用いた検索アルゴリズムを使えば正確かつ高速に順位を求めることができるのではないかと思い、実装＆検証してみました。 ランキング（順位取得）のデモ 下記ページで順位取得のデモを動かしています。スコア（点数）を入力すると順位と取得にかかった時間が表示されます（時
App Engineではどの言語を使えばいいのか - ひがやすを技術ブログ
App Engineで使える言語は基本的にはPythonとJavaです。それでは、どちらを選ぶのが良いのでしょうか。 それ以外の言語の人向けの話は後から出てくるのでしばらくこのままお読みください。 趣味ならば単に好きなものを選ぶだけでいいのですが、仕事で使うためには、長所と短所をきちんと把握した上で選ぶ必要があります。また、ここでの話は言語としての一般的な話ではなくApp Engineで使うとき限定の話としてお読みください。 まず安定度ですが、インフラ部分の安定度は、どちらも基本的に同じです。もしかすると、まったく同じものを使っているのかもしれません。 その上で動くAPIの部分は、インフラと直接結びついている低レベルな部分と低レベルなAPIの上に構築された高レベルな部分とに分けて考える必要があります。 低レベルなAPIはLLAPIと呼ばれたりしますが、安定度は、PythonとJavaも同じ
GoogleAppEngineで動くGyazoクローンgaezooのソースをアップしました。 - When it’s ready.
開発サーバとappspot.comで、アプリに返すURLを適宜変更する部分を書くのに手間取ったけど、なんとか簡単に使用出来るようになったので晒してみる。ツッコミ歓迎です。思いっきり公開先書くの忘れてた。 http://bitbucket.org/a2c/gaezoo/ 今動いているのは、gaezoo.appspot.comです。特にアクセスしても何も無いですけど・・・ サンプルは、http://gaezoo.appspot.com/4c7f4a666917d03fb0c7dac080103b23.png 追記：Twitterへのポストボタンつけました。 末尾のpngをpostに変えることで、挙動が変わります。 サンプルは、http://gaezoo.appspot.com/4c7f4a666917d03fb0c7dac080103b23.post ファイル構成 -- app.yaml --
Song of Cloud: AppEngine1.3.0 Blobstore API入門
AppEngine1.3.0で新しいAPIとして50MBまでのファイルを登録することが出来るBlobstore APIが公開されました。今までは10MBのアップロード、Datastoreには1MBずつしか登録出来なかったので、これは非常に期待がもてるAPIです。折角なので公式ドキュメントを参考に一通り試してみました。 Blobstoreとは？ BlobstoreはDatastoreの厳しいサイズ制限を超えて50MBまでのファイルを登録し、利用することができるサービスです。(Billingを有効にしていないと利用することが出来ません。)このサービスは、Datastoreの様に直接アクセスして利用するのではなく、サービスの受け口に対してWebフォームや、HTTP POSTメソッドによって行われます。従って、アップロード/ダウンロードにかかる処理時間はAppEngineの30秒制限の影響受けるこ
Song of Cloud: SDK 1.2.8 Release Notesで語られなかったこと
先日App Engine SDK 1.2.8 for Javaがリリースされました。 公式のリリースノートに記載されていない非常に重要な機能追加がありますので、ここで紹介します。基本的にすべてデータストアのお話です。しかもLow-Level API。 ご指摘いただきまして、ミスリードしそうな個所について修正しました。今後もわかったことがあれば追記していく予定です。 プロダクション環境でカーソルが予想外の動きをしました。このため、開発環境と両方で動くコードに更新しました カーソルの追加 これまでデータストアでページング処理を行う場合には、ページング用のプロパティを用意したり、ページング用のインデックスを用意したりと、様々な力技が提案されてきました。 しかし、今回のアップデートでCursorという「クエリの現在位置を覚えておくオブジェクト」がひっそりと追加されました。これを利用すると簡単にペー
appengine java night #3が終わりました - スティルハウスの書庫の書庫
appengine java night #3、あいかわらず脳みそフル回転させないと付いてけないコアな内容でしたね〜。今回はとくにTask Queueの使いこなし方やスケールアウト特性について生々しいレポートや意見がいただけました。 皆さんさっそく資料アップ＆レポートいただいてます： bluerabbitさん：appengine java night #3に行ってきた。 ぶいてくたけざきさん：【Google App Engine】 #ajn3資料 WdWeaverさん：スケールアウトの真実 marblejenkaさん：#ajn3に参加しました！ そして#ajn3のありがたいまとめ： kazuki-aranamiさん：GAE/J勉強会 利用者による実践的ノウハウの共有 ハッシュタグの検索結果一覧をまとめてみた shin1ogawaさん：#appengine java night #3( #a
#appengine java night #3( #ajn3 )に参加した
今回の本編では、TaskQueueをメインテーマにして開催されました。 @bluerabbit777jpさん：実際に作ってわかったApp Engineの困ったところ資料：http://www.slideshare.net/bluerabbit777jp/appengine-java-night-3 大量のメール送信を行うために、「Datastoreにメールをキューしておき、TQでメールを拾う→送信→Datastoreに送信完了フラグを書き込む」というパターン。これは最後の「送信完了フラグの書き込み」のフェーズに失敗する状況だとメールが多重送信されてしまう事がありうる。 fmfm、確かにそうだなぁ。こういったエラーをよしとするポイントが必要になるという事ですね。もちろん、アプリケーションの特性のよってそこへかけるコストと妥協できるボーダーは変わってくるわけですが、完璧を求めることは難しいです
Song of Cloud: 分散トランザクション処理の最適化
前回の「送金のトランザクション処理パターン」では、EntityGroupにまたがるトランザクション処理について簡単に紹介しました。 様々なコメントいただきまして(ありがとうございます)、どうやら「Distributed Transactions on App Engine - Nick's Blog」のやり方が非常に優れているようですので、今回は「送金のトランザクション処理パターン」で紹介した手法に最適化を施して、Nickさんのやり方に近付けてみようと思います。 今回紹介する最適化は、前回のような「狭い範囲のACIDトランザクション」と「べき等性による処理の伝搬」を組み合わせた分散トランザクション一般に適用できそうな手法です。そんなに大層なことはしていませんが、例によってまだ構想段階ですので、また至らない点があればご指摘いただければ幸いです。 おさらい 送金のトランザクション処理パターンで
Song of Cloud: 送金のトランザクション処理パターン
App Engineで現実的な送金処理について考え中です。 ドラフト版なので、怪しい点があればご指摘いただければ幸いです。 コメントで情報いただきました。 Distributed Transactions on App Engineで紹介されてる方法と基本的に同じなので、おそらく問題なく動きそうです。ありがとうございました。 今回はこんな図を使います。 この図の読み方は、矢印の方向にユースケースの一連の処理(またはリクエストの処理)が流れていて、右に行くほど時間が経過しています。そして、矢印がくし刺しにしている四角形は、そのユースケース中で操作するエンティティを表しています。 また、左右の位置が同じ矢印は、基本的には同じ時刻に発生したイベントを表しています。上記の図では、A, B, Cがそれぞれの口座エンティティを同時に操作している感じです。 並行性制御(おさらい) 最初の図のように、それ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.freia.jp/taka/blog/745
GAEたん「2010年は、スケールしよっ」 - 虎塚
Blog - Mikula Beutl - SEO Consulting
http://appengine-cookbook.appspot.com/recipe/high-concurrency-counters-without-sharding/?id=ahJhcHBlbmdpbmUtY29va2Jvb2tylwELEgtSZWNpcGVJbmRleCI8YWhKaGNIQmxibWRwYm1VdFkyOXZhMkp2YjJ0eUZ3c1NDRU5oZEdWbmIzSjVJZ2xFWVhSaGMzUnZjbVVNDAsSBlJlY2lwZSI-YWhKaGNIQmxibWR
Google Code Archive - Long-term storage for Google Code Project Hosting.