Appengine Matcher API
Matcher APIはあるオブジェクトが登録したクエリーにマッチするかをスケーラブルにチェックしてくれるサービスです。 クエリーが既に登録しているから、あるオブジェクトが一つ一つの登録したクエリーにマッチするかが他のクエリーに依存しないので、 Map-Reduce で簡単に平行で処理を分担してスケールできる。 何に使うか これが少し分かり辛いところかもしれないので、少し説明します。クエリーを未然に登録するので、 Prospective Search (プロスペクティブ検索、展望検索、予測検索?) と言います。 みんな使っている、普段の検索は、Retrospective Search (遡及検索) です。クエリーが決まってないので、データをインデクスを作って、後でユーザーがデータを クエリーする形になっています。 プロスペクティブ検索は、未然にクエリーを決めて、そのクエリーにマッチするデー
Skiplists20100604
App EngineのDatastoreで正確かつ高速に順位や平均等を求めることは困難です。Datastore上にSkip Listを実装することでそれらを計算する方法を紹介します。Read less
Google App Engine/JavaでのScala/Liftアプリケーション開発（後編）
はじめに 前回の「Google App Engine/JavaでのScala/Liftアプリケーション開発（前編）」では、Google App Engine（GAE）JavaでLiftアプリケーションを利用する基本的な方法を解説しました。 後編である本稿では、前回作成したイベント管理アプリケーションに機能追加を行いながら、Googleが提供するemailサービスやスケジュールサービス（cron）、TaskQueue（非同期バックグラウンド処理）などを利用してアプリケーションを構築する方法について説明します。 また、これまで説明していなかったLiftViewによるテンプレートを利用しないレスポンスの生成や、カスタムディスパッチで任意のURLの処理を行う方法も紹介します。 対象読者 Javaは知っているが、Scalaも学んでみたいと思っている方 ScalaでのWebアプリケーション開発に興味が
Google App Engineでランキングやページングを実現する - $koherent->diary
昨日一昨日、Google App Engine (GAE)に関する日本最大の勉強会（だと思う）appengine ja night #7 (ajn7)が行われました。 その中で『ランキング問題』が話題に上がりました。『ランキング問題』とは、何十万件もの点数のデータがあるときに、App Engine上で、「◯点は何位です」と高速に求めることは難しい、という問題です。（◯ページ目を表示、というページングもこれと同じ種類の問題になります。） ajn7では「上位でない限り正確な順位は必要ないのではないか」という話になりましたが、Skiplistを用いた検索アルゴリズムを使えば正確かつ高速に順位を求めることができるのではないかと思い、実装＆検証してみました。 ランキング（順位取得）のデモ 下記ページで順位取得のデモを動かしています。スコア（点数）を入力すると順位と取得にかかった時間が表示されます（時
Google App Engine/JavaによるScala/Liftアプリケーション開発（前編）
はじめに Google App Engine（GAE）/Javaでは、Java仮想マシン上で動作する言語を利用することができます。例えば、JRubyやGroovyなどです。 Scalaも、コンパイルすることによりJava仮想マシン上で動作するクラスファイルを生成する言語ですので、当然、GAE/Java上で動作させることができます。 Scalaが動作するということは、ScalaでできているWebアプリケーションフレームワークであるLiftを元に作成されたアプリケーションを、GAE/Javaに載せることができるということです。 前後編で構成される本連載では、ScalaおよびLiftをGAE/Java上で動作させる方法を解説した後、サンプルアプリケーションでGoogleが提供するさまざまなAPIを利用した、GAEならではのアプリケーションを作成して、GAEでのアプリケーション作成のイメージをつか
[Scala][GAE] dispatchのOAuthをGAEで使う
dispatchが内部でcommons-httpclientを使っていて、GAEでの禁止クラスを使っているのでそのままだとエラーになった。ので無理やりimplicit defでURLFetchのHTTPRequestに変換することで回避してます。こんな感じ。 import dispatch._ import com.google.appengine.api.urlfetch._ import java.net.URL object DispatchHelper { /** * convert dispatch.Request -> String */ implicit def r2s(r: Request) = { r.host.get + r.req.getRequestLine.getUri } /** * convert dispatch.Request -> com.google.
約半月で 4,000,000PV を華麗にさばく Google App Engine
「なんでも判定ツクール」へ多数のアクセスありがとうございますm(_ _)m 1月末にリリースした当初は僅かのアクセスだったのですが、Twitterで火が付いてからは一気にアクセスが集まり、気が付けば2月1日〜2月16日で4,000,000PVを超えました。 自分では絶対に考えつかないであろうユニークな判定がたくさんできて、私自身もとても楽しんでいます:-D（面白い発想をする人は世の中にたくさんいるものです） このサイトはGoogle App Engine(GAE）＋Pythonで構築しているのですが、このアクセス数ならではのGAE上で体験できたことをざざっと書いていきます。 無料？課金？ まずはじめに大事なこと。 「なんでも判定ツクール」ではGAEを課金状態にしています。無料のQuotaではとてもではないですが、このアクセスは捌けません:D GAE公式サイトには 月間約 500 万ページ
App Engineではどの言語を使えばいいのか - ひがやすを技術ブログ
App Engineで使える言語は基本的にはPythonとJavaです。それでは、どちらを選ぶのが良いのでしょうか。 それ以外の言語の人向けの話は後から出てくるのでしばらくこのままお読みください。 趣味ならば単に好きなものを選ぶだけでいいのですが、仕事で使うためには、長所と短所をきちんと把握した上で選ぶ必要があります。また、ここでの話は言語としての一般的な話ではなくApp Engineで使うとき限定の話としてお読みください。 まず安定度ですが、インフラ部分の安定度は、どちらも基本的に同じです。もしかすると、まったく同じものを使っているのかもしれません。 その上で動くAPIの部分は、インフラと直接結びついている低レベルな部分と低レベルなAPIの上に構築された高レベルな部分とに分けて考える必要があります。 低レベルなAPIはLLAPIと呼ばれたりしますが、安定度は、PythonとJavaも同じ
Getting Started With Google App Engine and NetBeans Part 1 « Developing in the Google Cloud
Getting started with Google App Engine development is easy and free. For the purposes of this tutorial, I tend to focus on developing GAE apps from within the Linux platform. However, since both Netbeans and the Google App Engine SDK are multiplatform, these instructions will be pretty much the same on any of the major operating systems (Linux, Mac, or Windows). Let’s get started. Sign up for Goog
Java Cloud Meeting Fukuoka 2010
AI presentation and introduction - Retrieval Augmented Generation RAG 101vincent683379
Google App EngineでGlobal Transaction - ひがやすを技術ブログ
Google App EngineにはTransactionは1つのEntity Group内でしかできないという制限があります。詳しくは、App EngineのEntityGroupを理解しよう - yvsu pron. yasを参照してください。 そうするとある口座から別の口座にお金を振込むような送金のパターンで、Transactionを利用することができません(すべての口座を1Entity Groupに押し込むと更新がぶつかって現実的ではないから)。送金パターンで整合性を保つためには、理論的には次のようになります。 http://songofcloud.gluegent.com/2009/11/blog-post_18.html 実装するとこんな感じ。 http://blog.notdot.net/2009/9/Distributed-Transactions-on-App-Engi
App EngineのLogをXMPPで飛ばす． - hidemonのブログ
Log をリアルタイムで見たい App Engineにはよくできたログコンソールがあり，フィルタリングとかもできるのだが，Webベースの悲しさ，必ずリロードしなければ最新の情報をみることができない． これを解決する素晴らしい記事がこちら．叢雲の歌：XMPPを使ったログの通知．LoggerのAppenderとしてXMPPメッセージを投げるものを作り，それを使ってすべてのログをIMで飛ばす．具体的には，GmailのChatウィンドウで読めるようになる． こりゃ便利． java.util.loggingでできないか こちらの記事では，ロギングライブラリとして，sl4jとlogback-classicを使っている．これをなんとか，AppEngine 標準のjava.util.loggingライブラリを使ってできないかというのを試してみた． 結論から言うと，できない．っていうか，できるんだけどすごく
JavaとPythonでGoogle WaveのRobotを作るには（1/4）－＠IT
株式会社鳥人間 郷田まり子 2009/10/22 ついにプレビュー公開が始まった、リアルタイム＆（ポーリングによる）擬似プッシュ型のコミュニケーションとコラボレーションのプラットフォーム「Google Wave」の特集です。その概要と「Gadget」「Embed」「Robot」という3つの拡張APIを使ったWaveの作り方を徹底解説します Google WaveのRobotをGoogle App Engineに作る 前編の「プレビュー公開が始まったGoogle Wave「超」入門」では、Google Waveの概要や、クライアントサイドのGadgetとEmbedについて解説しました。後編の今回は、クラウドサイドのRobotについて解説します。 前編でも説明しましたが、Robotは一般参加者と同列の参加者として、Wave上で発言をしたり、画像を張ったりと、自動でコミュニケーションするソフトウ
Task Queueのタスクがどのように複数のJVMに負荷分散されるか試したよ #appengine - スティルハウスの書庫の書庫
ご存じのとおり、App EngineのJVM（App Server）はクラスタ化されていて負荷分散される――というのがGoogleの説明です。しかし、WebブラウザからApp Engineに届くHTTPリクエストや、Task Queueのタスクによって呼び出されるHTTPリクエストは、実際にどのような感じで複数のJVMに配られるのでしょうか？ どれくらいの量のリクエストが届いたとき、何台のノードに負荷分散される？ 負荷分散のアルゴリズムは？（単純ラウンドロビン、sticky session/session affinity、負荷状況に応じた転送など） 新しいJVMの追加や、既存のJVMの削除のタイミングは？ これらについてはGoogleから情報が公開されておらず、謎です。そこでApp Engine利用者の皆さんが実際の経験やテストを通じて情報を交換しながら想像たくましくするしかないわけです
Memcacheでスピンロックを実装してTask Queue処理結果を集約してみるテスト - スティルハウスの書庫の書庫
TaskQueueで分散処理した結果をまとめるときは、排他を考慮する必要があります。Datastoreを使う場合なら、単に結果を新規エンティティとして追加したり、エンティティグループの楽観排他を使ったりすればOKです。一方、やっぱりMemcacheでスピーディーに集約したいよ、という場合は、Memcache上で排他を実装する必要があります。以前のエントリにちょろっと書いたMemcacheService#incrementでスピンロックという方法について説明してほしいというコメントをid:miztakaさんよりいただいたので、ここに改めて書きたいと思います。 Memcacheでは排他制御が必要 ご存じのとおり、App Engineはデフォルトで複数のApp Serverによるクラスタが構成されており、またMemcacheサービスはクラスタ全体で共有されるグローバルなキャッシュとして機能します
#appengine java night #1( #ajn1 )に参加した
楽観的排他制御にはBigTableの排他制御+独自のチェック(またはJDOのVersion管理+自前の更新前のバージョンチェック)を使うJDOを使う場合は自動でTransactionを開始する機能が邪魔なので止めておくPersistenceManagerを開くタイミング、閉じるタイミングLow-Level APIのパラレルGETは存在しないKeyをパラメタに渡してもエラーにならないスキーマのバージョンをEntityに持たせておくとマイグレーションが必要な場合に便利 感想実はひがさんも私も予定した事を全ては伝えきれなかったのですが、それでも問題なかったと思います。発表者の発表の合間合間に会場の皆さんを交えた色々な議論が交わされた分だけ、ひがさんも私も予定より押してしまった要因なのですが、個人的にこの進み方は良かったと感じました。おかげさまでより濃い内容になったんだと思います。appengin
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sign in - Google Accounts
Sign in - Google Accounts
Scaling Clojure Web Apps with Google AppEngine
転送中