Google App Engineでランキングやページングを実現する - $koherent->diary
昨日一昨日、Google App Engine (GAE)に関する日本最大の勉強会（だと思う）appengine ja night #7 (ajn7)が行われました。 その中で『ランキング問題』が話題に上がりました。『ランキング問題』とは、何十万件もの点数のデータがあるときに、App Engine上で、「◯点は何位です」と高速に求めることは難しい、という問題です。（◯ページ目を表示、というページングもこれと同じ種類の問題になります。） ajn7では「上位でない限り正確な順位は必要ないのではないか」という話になりましたが、Skiplistを用いた検索アルゴリズムを使えば正確かつ高速に順位を求めることができるのではないかと思い、実装＆検証してみました。 ランキング（順位取得）のデモ 下記ページで順位取得のデモを動かしています。スコア（点数）を入力すると順位と取得にかかった時間が表示されます（時
Getting Started With Google App Engine and NetBeans Part 1 « Developing in the Google Cloud
Getting started with Google App Engine development is easy and free. For the purposes of this tutorial, I tend to focus on developing GAE apps from within the Linux platform. However, since both Netbeans and the Google App Engine SDK are multiplatform, these instructions will be pretty much the same on any of the major operating systems (Linux, Mac, or Windows). Let’s get started. Sign up for Goog
Java Cloud Meeting Fukuoka 2010
This document discusses a meeting about Google App Engine for Java that took place in Fukuoka, Japan in 2010. It mentions Google App Engine, a platform for deploying scalable web applications and services written in Java, and provides a link to documentation on billing for App Engine applications.Read less
Google App EngineでGlobal Transaction - ひがやすを技術ブログ
Google App EngineにはTransactionは1つのEntity Group内でしかできないという制限があります。詳しくは、App EngineのEntityGroupを理解しよう - yvsu pron. yasを参照してください。 そうするとある口座から別の口座にお金を振込むような送金のパターンで、Transactionを利用することができません(すべての口座を1Entity Groupに押し込むと更新がぶつかって現実的ではないから)。送金パターンで整合性を保つためには、理論的には次のようになります。 http://songofcloud.gluegent.com/2009/11/blog-post_18.html 実装するとこんな感じ。 http://blog.notdot.net/2009/9/Distributed-Transactions-on-App-Engi
JavaとPythonでGoogle WaveのRobotを作るには（1/4）－＠IT
株式会社鳥人間 郷田まり子 2009/10/22 ついにプレビュー公開が始まった、リアルタイム＆（ポーリングによる）擬似プッシュ型のコミュニケーションとコラボレーションのプラットフォーム「Google Wave」の特集です。その概要と「Gadget」「Embed」「Robot」という3つの拡張APIを使ったWaveの作り方を徹底解説します Google WaveのRobotをGoogle App Engineに作る 前編の「プレビュー公開が始まったGoogle Wave「超」入門」では、Google Waveの概要や、クライアントサイドのGadgetとEmbedについて解説しました。後編の今回は、クラウドサイドのRobotについて解説します。 前編でも説明しましたが、Robotは一般参加者と同列の参加者として、Wave上で発言をしたり、画像を張ったりと、自動でコミュニケーションするソフトウ
Task Queueのタスクがどのように複数のJVMに負荷分散されるか試したよ #appengine - スティルハウスの書庫の書庫
ご存じのとおり、App EngineのJVM（App Server）はクラスタ化されていて負荷分散される――というのがGoogleの説明です。しかし、WebブラウザからApp Engineに届くHTTPリクエストや、Task Queueのタスクによって呼び出されるHTTPリクエストは、実際にどのような感じで複数のJVMに配られるのでしょうか？ どれくらいの量のリクエストが届いたとき、何台のノードに負荷分散される？ 負荷分散のアルゴリズムは？（単純ラウンドロビン、sticky session/session affinity、負荷状況に応じた転送など） 新しいJVMの追加や、既存のJVMの削除のタイミングは？ これらについてはGoogleから情報が公開されておらず、謎です。そこでApp Engine利用者の皆さんが実際の経験やテストを通じて情報を交換しながら想像たくましくするしかないわけです
Memcacheでスピンロックを実装してTask Queue処理結果を集約してみるテスト - スティルハウスの書庫の書庫
TaskQueueで分散処理した結果をまとめるときは、排他を考慮する必要があります。Datastoreを使う場合なら、単に結果を新規エンティティとして追加したり、エンティティグループの楽観排他を使ったりすればOKです。一方、やっぱりMemcacheでスピーディーに集約したいよ、という場合は、Memcache上で排他を実装する必要があります。以前のエントリにちょろっと書いたMemcacheService#incrementでスピンロックという方法について説明してほしいというコメントをid:miztakaさんよりいただいたので、ここに改めて書きたいと思います。 Memcacheでは排他制御が必要 ご存じのとおり、App Engineはデフォルトで複数のApp Serverによるクラスタが構成されており、またMemcacheサービスはクラスタ全体で共有されるグローバルなキャッシュとして機能します
#appengine java night #1( #ajn1 )に参加した
楽観的排他制御にはBigTableの排他制御+独自のチェック(またはJDOのVersion管理+自前の更新前のバージョンチェック)を使うJDOを使う場合は自動でTransactionを開始する機能が邪魔なので止めておくPersistenceManagerを開くタイミング、閉じるタイミングLow-Level APIのパラレルGETは存在しないKeyをパラメタに渡してもエラーにならないスキーマのバージョンをEntityに持たせておくとマイグレーションが必要な場合に便利 感想実はひがさんも私も予定した事を全ては伝えきれなかったのですが、それでも問題なかったと思います。発表者の発表の合間合間に会場の皆さんを交えた色々な議論が交わされた分だけ、ひがさんも私も予定より押してしまった要因なのですが、個人的にこの進み方は良かったと感じました。おかげさまでより濃い内容になったんだと思います。appengin
GAE/Jアプリ開発のTIPSまとめ : CB NANASHI管理人ブログ
2009年09月09日20:38 カテゴリGoogle App Engine GAE/Jアプリ開発のTIPSまとめ Google App Engine for Java関連の記事が随分と溜まってきましたので、まとめ記事を作ってみました。今後も記事追加時にはこの記事を更新していきたいと思います。 GAE関連ブログをお書きの他の方のように、バックエンドの技術に対する深い考察などはありませんが、実際にアプリケーションを作成してみた上で遭遇したトラブルや小技を書いています。また、なるべくGoogleのドキュメントには記述されていないことを書いたつもりです。 GAEでアプリを開発される方の参考になれば幸いです。 ■対象のアプリケーション 次のアプリケーションを作成した上でのTIPSです。 Cycle Base NANASHI -サイクルベース名無し- 自転車用品・パーツのレビューまとめサイト。2ch
GAE/JのDevAppServerMainを起動するmaven pluginを作った
2009-07-27追記SDKのバージョンに合わせてバージョンが変わってますので更新のエントリも参照する事！ 今までmaven archetype pluginをいくつか作って来たけど、どれも「Eclipseが前提」となっていて、せっかくarchetype:generateでプロジェクトが作れるし、単体テストもできるのに結局Google Plugin for Eclipseかappengine-java-sdkも必要なんだよな〜、mavenを使った開発っぽくないよな〜、というカンジがあった。 mavenを使うんだから、sdkなんていちいち落としてくるなんておかしいよ、プラグインが勝手に解決しろや〜、て思うもんね。そこで、以下のようなMavenプラグインを作った。 com.google.appengine.tools.KickStartを使ってcom.google.appengine.too
Google App Engineのtips集 - スティルハウスの書庫の書庫
（随時更新中です。間違いなどありましたらコメントをお願いします！） このページのtinyurl: http://tinyurl.com/gaetips Datastoreのtips Bigtableの内部構造 BigtableによるDatastoreの実装 Datastoreによるクエリの実装 トランザクションとエンティティグループ Datastoreのtips List Proprtyとmerge joinの使い方 GAE一般のtips GAEのサーバー構成とリクエストの流れ Task Queue APIの使い方 開発環境とプロダクション環境の違い Flex/AIR＋GAEのtips GAE/JにBlazeDSを組み込む BlazeDSの本番環境へのデプロイでハマる Datastore APIの取り扱いでハマる App Engine開発の便利な参考ページ TOPGATEさんのGoogle
EclipseでJava版App Engineを始めるための基礎知識
EclipseでJava版App Engineを始めるための基礎知識：Google App Engineで手軽に試すJavaクラウド（1）（1/4 ページ） Google App Engineがやって来るJa！va！だぁ！ 米グーグルは2008年4月7日、Pythonで作成したプログラムが動くクラウド・コンピューティング環境「Google App Engine」（以下、GAE）を発表しました。それからちょうど1年後の2009年4月7日、GAEはPythonに加えてJavaへの対応（以下、GAEj）を発表しました（参考：グーグルのクラウドがJava対応、JRubyも稼働か）。 2008年のGAE発表当初、日本ではPythonのプログラマ数があまり多くなく、反響もいまひとつの感じがありましたが、今年になって開発者や利用実績が多いJavaに対応したことで、GAEのユーザー数が一気に増加する可能性
GAE for Java用のサンプルプロジェクトを公開しておきます
シンプルな構成 GAE for Javaでテンプレートとして使えるサンプルを作っていたが、おおよそできた。 ORMにはJDOを使う EclipseでのJDOエンハンス対象クラスを設定する Eclipse、MavenのどちらからもJDO関連のモジュールの単体テストが動作する Javaのロガーのフォーマッタを入れ替える（1ログ1行で表示する） Presentation層にはjspとjstlを使う 主にMavenでの単体テストが可能な事がメインで、これができるとHudsonでMavenプロジェクトを定義してのCIが可能となるので必須の機能なはず。みんなCIしてるもんね？CIを想定しなくて許されるのは小学生までだよね？ 極力シンプルにしたので、ここから色々派生する事ができると思う。 こいつはシンプルなのでarchetype-pluginを作ってもいいんだけど、要望はなさげ。というのも、$ mvn
Scheduled Tasks With Cron for Java - Google App Engine - Google Code
Scheduled Tasks With Cron for Java The App Engine Cron Service allows you to configure regularly scheduled tasks that operate at defined times or regular intervals. These tasks are commonly known as cron jobs. These cron jobs are automatically triggered by the App Engine Cron Service. For instance, you might use this to send out a report email on a daily basis, to update some cached data every 10
GAE for Javaをarchetype:createする
Google Codeにmaven2のgae-maven-archetypeというarchetyoe plug-inプロジェクトがあり、それが使える。自分はt-2+Guice+JPA用のものを作って使っているが、gae-maven-archetypeプロジェクトのものが汎用的で使いやすそう。 $ mvn archetype:create -DgroupId=com.shin1ogawa -DartifactId=com.shin1ogawa.gae.sample -DarchetypeArtifactId=appengine-quickstart -DarchetypeGroupId=org.mvnsearch.maven.archetypes -DarchetypeVersion=1.0.1 -DremoteRepositories=http://www.mvnsearch.org/ma
Slim3 for Google App Engine/Java - ひがやすを技術ブログ
Slim3をGAE/Jに対応させました。 デモサイトはこちら。 http://higayasuo.appspot.com/ ソースコードをチェックアウトしたい場合はこちら。 http://code.google.com/p/slim3/source/checkout https://slim3.googlecode.com/svn/を指定してチェックアウトできます。デモ用のプロジェクトは、slim3-demoです。 SAStrutsのチュートリアルをやったことのある人なら、デモサイトが、そっくりだということがわかるでしょう。Slim3 Struts(SAStruts相当)がGAE/Jで動くわけです。 素のStrutsだとGAEではファイルアップロードに失敗しますが、Slim3 Strutsはその辺も対応してます。 やってみて感じたのは、GAE/Jは、制限が結構厳しいので、高度なフレームワー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
転送中
Google Code Archive - Long-term storage for Google Code Project Hosting.
http://lotrepls.appspot.com/
Google Code Archive - Long-term storage for Google Code Project Hosting.