appengine ja night #14
appengine ja night #14 1. APP ENGINE上の大量データ処理についてappengine ja night #14@int128 2. Introduction いわてぃ @int128 http://d.hatena.ne.jp/int128/ • 本業 • SIerでお仕事しています。 • プライベート • Google App Engine/Java • 自宅サーバ 3. 本日の内容• App Engineとバッチ処理• タスクチェーン• シャーディング• App Engine MapReduce (Java)の仕組み• デモ：Twitterのタイムラインで遊んでみるhttp://goo.gl/iibHl 4. APP ENGINEとバッチ処理 5. App Engineのインフラ• バッチサーバはない。• SQLやストアドはない。• HTTPリクエスト処
GAEで不定期のイベント処理をするならTask Queue
決まった時刻や間隔で定期的に何か処理をしたい場合はCronを使用しますが、直前になるまで時刻が分からなかったり、突発的に発生するイベントの処理にはTask Queueを使います。 Task Queueはプログラム上から実行する時間を指定して登録できるCronに似たシステムです。CronがGETメソッドでパラメータ無しで呼び出されるのに対して、Task Queueは基本的にPOSTメソッドで呼び出され、パラメータも渡すことができます。 ちなみに、Task Queueはまだ実験的なシステムで現在はgoogle.appengine.api.labs.taskqueueというパスになっていますが、正式サービスに昇格する際にgoogle.appengine.api.taskqueueに変わる予定なので注意してください。 呼び出し元がユーザではなくGAEのシステムというだけで、それ以外は普通のCGIと
App Engine の cronフォーマットのまとめ - やさしいデスマーチ
App EngineではCron サービスを利用する事で、指定した時間や一定間隔でタスクをスケジュール実行する事ができます。今回のアップデートからかと思いますが、フォーマットがより柔軟になったのでまとめておきます。いつもの事ですが、日本語のドキュメントには反映されていませんので、英語のドキュメントから引っ張ってきてまとめます。 毎日、特定の時間にジョブを実行する 指定された時間に繰り返して実行する必要がなく、同じ間隔で実行したいだけであれば、次のフォーマットを使用します。 every N (hours|mins|minutes) Nは特定の数値 hours（時間）またはmins（分）またはminutes（秒）を指定 この書式の場合、ジョブの実行が終了した後で指定されたインターバルを空けて次のジョブが実行されます。つまり、ジョブの実行時間はインターバルに含まれません。例えば、「every 2
throw Life - Android1.6でも動く「オレオレC2DM」の実装
前回のおさらいですがホンモノのC２DM（Cloud To Device Messaging）の構成はこんな感じ。 端末をC2DMサーバ(@Google)に登録する お返しにregistration IDをもらえる（人にバレちゃだめ） 自分で作ったapp server(GAEで作れる)にuserアカウントとregistration IDを対応付けて保存する browserからapp serverにuser account情報と送信したデータをPOST app serverはuser accountからregistration IDを求めて、データと併せてC２DMサーバへPOST C2DMサーバはregistration IDと対応付けていたデバイスに向けてデータをPUSH
cloudmix GAE slides
Google Apps をSocial にするOpenSocialPages (；゜○゜) お願いですから応募してくださいNobuhiro Nakajima
Google App EngineでListPropertyを使おう
ListPropertyは複数の値が格納できる、便利なプロパティです。 複合インデックスでのインデックス爆発という問題はありますが、ListPropertyはGoogle App Engineには欠かせません。 複数選択が可能な(formでチェックボックスになるもの)は、ListPropertyを使うと実装しやすいです。 例えば、好きな動物というデータがあったとして： class User(db.Model): fav = db.StringListProperty() user = User()user.fav = ['cat', 'dog', 'penguin'] としておけば、 users = User.all().filter('fav =', 'penguin') のように、ペンギンが好きなユーザをクエリできます。 ここで問題なのは「どの動物も好きではない」ユーザをクエリで検索
Goole App Engine SDK 1.4.0 の新機能 - hakobera's blog
原文： Prerelease SDK 1.4.0 is out! - Google App Engine | Google Groups App Engine SDK 1.4.0 の prerelease 版が出て、搭載される機能について紹介されていました。 一言でいうと「これは熱い!」 レイテンシ改善のため、インスタンスが常時起動できるようになった！ Channel API が使えるようになった！ 個人的には上記の２つが嬉しい。 勢いで原文の Java 版の新機能のとこだけ訳してみました。細かいところは誤訳の可能性もあるので、念のため原文も載せておきます。 常時起動オプションを設定することで、3インスタンスを常時起動しておくことができます。これにより、アプリケーションのレイテンシ（起動時間）を大幅に短縮することができます。(The Always On feature allows app
【Google App Engine】 Prerelease SDK 1.4.0 is out!! でもちょっと残念
GAEがとうとう1.4.0になった。 Prerelease SDK 1.4.0 is out!! メジャーバージョンアップということだが、どこが目玉なのか、個人的に思うところを 挙げてみる。 １）インスタンス維持＆Warmup Request これで、GAE最大の不満、SpinUp問題を解決できるようになる！！ところで、Warmup Requestは、これとセットと考えていいのだろうか。でも、常時実行というのは、技術的な解決策を期待していただけにちょっと残念。 ２）Channel API機能 Push技術はリアルタイムWeb時代になくてはならないものだ。Cometなのがちょっと残念。 ３）TaskQueue/Cronの実行時間が最大10分に おおおお！やっときたか。リトライ条件を指定できるのも嬉しい。でも、Datastoreと通常のリクエストが30秒のままなのがちょっと残念。 ４）Meta
GAE/J使うならこの設定をしておけ！ - 手抜きぷろぐらまのメモ帳
※2010/4/23 sessionのクリアについてご指摘頂き、追記しました。Google App Engine for Java(GAE/J)にて、どんなアプリを使う場合でも （自分的に）ほぼ必須となる設定ファイルのまとめ。 ていうか、リファレンス読めばいーんだけどさ １．sessionを有効にする & クリアの設定をする Javaでsession使わないケースなんてあるのか？ appengine-web.xml に 下記を追加 <sessions-enabled>true</sessions-enabled> GAE/Jでsessionを使う場合、このままだとDatastoreにsession情報が残ったままなので定期的にクリアするcronを設定する web.xml に 下記を追加 <servlet> <servlet-name>_ah_sessioncleanup</servlet-
はてなブログ | 無料ブログを作成しよう
ケンタッキー・フライドチキン1号店への旅 ケンタッキー・フライドチキンがケンタッキー州の創業した当時の場所にまだ1号店を構えている、そんな当たり前なようで驚きの話を聞いたので行ってみる事にした。住んでいるデトロイトから車で6時間半。微妙な距離であるが、今しか行けるチャンスがない、行くしかない…
%26utm_content%3DGoogle%2BReader)
suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Google App Engine for Javaで参考になるサイトのまとめ - ありの日記
先日、友達の会社の勉強会で「初めてのGAE/J開発」というタイトルの発表をさせていただきました。準備不足や時間配分のミスがあったため、後半飛ばしぎみになって申し訳ありませんでした。 GAEの制限ばかりを強調しすぎて逆に使えないような印象をもってしまったかもしれませんが、決してそんなことは無いと思います。(だから、私もいまGAEに注目しているわけですし。)特にBigtableは今までとは違った考え方が必要なので、これまでのRDBのように考えるとうまく行かないのは間違いありせん。(私も何度も悩まされました。いや、今もですが。) しかし、だからといってそれはやり方の問題であって、そのままGAEが使えないという理由にはならないはずです。BigtableにはBigtableのやり方が必ずあるはずです。また、WikipediaやTechCrounchによると、GoogleのたくさんのサービスがBigt
Google App Engine for Javaでのメール受信コード - 2009-10-24 - きしだのはてな
Google App Engineで受信メールの処理ができるようになった。 具体的な手順はこちら。 http://code.google.com/intl/en/appengine/docs/java/mail/receiving.html 手順はこう。 まず、appengine-web.xmlに次の設定を追加 <inbound-services> <service>mail</service> </inbound-services> そうすると、string@appid.appspotmail.comにメールが来たら /_ah/mail/<address> というURLが呼び出されるようになる。 なので、次のようなサーブレットマッピングをweb.xmlに追加してサーブレットで処理をする。 <servlet> <servlet-name>mailhandler</servlet-name>
GroovyとGoogle App Engineでアプリ開発（前編） ～GroovyでWeb開発を行うための基本
はじめに Javaプログラマであれば、Google App Engine（GAE）がJavaに対応したとき、すぐさま試してみた人も多いのではないでしょうか。Javaに対応するということには、実は非常に深い意味があります。それは同時に「Java仮想マシン上で動く、あらゆる言語に対応する」ということでもあるのです。 GroovyもJava上で動くスクリプト言語なので、当然ですがGAEで利用できます。そこで今回は、GroovyでGAEのアプリケーション開発を行ってみましょう。 対象読者 JSPを書くのは正直しんどい...と近頃感じる人 Ruby on Railsスタイルの開発に興味があるという人 MVCフレームワークをJavaで学びたいという人 JavaによるGoogle App Engineプログラミングに興味がある人 GAEでGroovyを利用する Google App Engine（GAE
Gaelyk - a lightweight Groovy toolkit for Google App Engine Java
Tutorial The goal of this tutorial is to quickly get you started with using Gaelyk to let you write and deploy your Groovy applications on Google App Engine. We'll assume you have already downloaded and installed the Google App Engine SDK of your machine. If you haven't, please do so by reading the instructions from Google. The easiest way to get setup rapidly is to download the template project
GAE/J+Wicket用のarchetypeプラグインを作成した
2009-07-27追記SDKのバージョンに合わせてバージョンが変わってますので更新のエントリも参照する事！ 久々にWicketを触っていると、"やっぱJava屋にはWicketが一番気持ちいいな…"となったので、前回のものに加えてWicket+GAE用のquickstartも作った。 使い方 maven2がインストールされてパスも通った状態で、以下のコマンドを実行してください。 $ mvn archetype:generate -DarchetypeGroupId=com.shin1ogawa -DarchetypeArtifactId=gae-wicket-quickstart -DarchetypeVersion=1.0-SNAPSHOT -DarchetypeRepository=http://gae-j-samples.sourceforge.jp/maven/repositor
Google App Engine上でWicketを動かす - 矢野勉のはてな日記
Java, WicketGoogle App Engine for Javaのアカウントを取っておいたので、Wicketが動くかどうかチェックしました。 Wicketでは1.3の途中から、セッションストアがSecondLevelCacheSessionStoreという、ワークファイルに情報を書き出すタイプに変更になりました。ここがネックになるだろうと思っていたら、やっぱりファイル作成は規制されているとのこと。 で、HttpSession上にページ情報を格納する「HttpSessionStore」に切り替えてみたら、普通に動きました。 アプリケーション・クラスの設定はこのような感じです。 public class WicketApplication extends WebApplication { /** * Constructor */ public WicketApplication(
Google App EngineをGUIで管理·Google App Engine Launcher MOONGIFT
Google App Engineは素晴らしい可能性を秘めている。はじめはギークが楽しんで使うだけだろうが、近い将来にはそれをビジネスモデルが発表され、Google App Engineで作られたWebアプリケーションが数多く登場することだろう。 そうした時に必要なのはGoogle App Engineをさらに便利にする周辺ツールの存在だ。これもまたその一つになる。 今回紹介するオープンソース・ソフトウェアはGoogle App Engine Launcher、Google App EngineのGUIフロントエンドだ。 Google App Engine Launcherは、Google App Engineプロジェクトの追加や起動/停止、ログ等を一元管理できるアプリケーションだ。もちろん、Google App Engine Launcherからデプロイもできる。 予めエディターを登録し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Devlove hangar flight-wintersortie-shin1ogawa
Google App Engine for Javaを使ってみよう！一覧
