今時のWebエンジニアの入り口としてのGAE - ku-sukeのブログ
本日、GoogleがCloud SQL（MySQLのレンタルみたいなの）の無料版を発表しました。500MB/6ヶ月でGoogle App Engineなどから無料で使えるようです。 さて、それはいいとして最近弊社なども含め、今時の環境って本気だすと複雑化してますよね。OSCで発表された前佛さんのMunin資料を31pと２つ戻って29pを見比べてみてくださいｗ Muninではじめる実践★リソース監視 -俺のサーバがこんなに重いはずがない、を乗り切るために- from Masahito Zembutsu こんなの絶対おかしいよ！！ NoSQLや非同期処理など、様々な新しい技術にチャレンジしたいと思っていても、どこから手を付けよう、、みたいなことってありますよね。Cassandraがいいのかな、Redisがいいのかな？みたいにはてブの着いた記事があれば読んでみるんだけど、インストールとか面倒そう
App Engine のリソース管理 - TaskQueue の設定 - Kay's daddy
TaskQueue の設定を変更する TaskQueue をデフォルトの設定で使っていると、いくつかまとめて Task を登録した時に並列処理が走り、Frontend Instance が複数立ち上がってしまいます。そこで、max_concurrent_requests を設定することで、同時に実行される Task の数を制限できます。下記の yaml ファイルでは、“default” Queue の max_concurrent_requests を 1 に設定しています。 queue.yaml queue: - name: default rate: 5/s max_concurrent_requests: 1 もちろん、この設定によって Task の実行が遅くなりますが、インスタンスの数は抑えられるはずです。 9/8 追記: また、Task を追加するときに X-AppEngine-
Peter Magnusson からデベロッパーの皆さんへのメッセージ - Kay's daddy
英文のメッセージ の日本語訳です。 長いポストなのでまず要約を: 新課金体系の適用は 11 月 1 日に延期しました。インスタンス時間の半額期間を 12 月 1 日まで延長しました。Python 2.7 は 12 月 1 日をターゲットにしています。新課金体系では、多くの場合課金額が上昇しますが、皆さんが恐れるほどではないはずです。それから App Engine が依然として魅力的なプラットフォームであることを説明します。 私は App Engine 担当のエンジニアリングディレクターです。はじめまして！ 我々は、App Engine がプレビューを卒業して Google の正式サービスになることをとても嬉しく思っています。新しい機能群、99.95% の SLA、改訂版の利用規約、有償サポートの提供、月額課金に加えて、価格体系を変更する予定でいます。先週、我々は “side-by-side
グーグル、フル機能のMapReduceをGoogle App Engineで提供へ
グーグルは同社のクラウドサービスであるGoogle App Engineで、フル機能のMapReduce機能を提供することが同社のイベントGoogle I/O 2011で明らかにしました。 これまでGoogle App EngineではMapReduceを構成する「Map」「Shuffle」「Ruduce」の3つのうち、Mapperの機能の提供が行われてきました。 Google I/O 2011で行われたセッション「App Engine MapReduce」では、MapReduceを構成するすべての機能の提供が行われることが発表されています。 セッションのポイントを紹介しましょう。 App Engine MapReduce App EngineエンジニアリングチームのMike Aizatsky氏。 MapReduceは数年前にグーグルが開発した処理。社内ではほとんどあらゆるチームがこの処理
Google App Engineは年内に正式サービスへ昇格。Go言語のサポートも
グーグルは、同社のクラウドサービスであるGoogle App Engineのプレビューを年内に終了し、正式サービスへと昇格させる予定であることをブログGoogle App Engine Blogにポストしたエントリ「The Year Ahead for Google App Engine!」で明らかにしました。 2008年にプレビューサービスが始まったGoogle App Engineは、これまで多くのフィードバックを得てきたため、プレビューを卒業する準備ができたと書いています。 We are now confident that App Engine is almost ready to graduate from Preview status, and we are pleased to announce that graduation will be taking place lat
egashira > Google App Engine > 静的なページのみでGAEサイトを構築する
Google App Engine（GAE）はWebアプリのインフラなので、本来はPythonやJavaなどを駆使した動的なページでサイトを構築します。 しかし、通常のCSSファイルやJavaScriptなどの静的ファイルを使用する仕組みをもっているため、最初に簡単な設定さえ行えば、通常のホスティングと同様のHTMLによる静的なサイト構築も行うことができます。 同じようなGoogleのサービスでGoogleサイトがあり、これも無料で利用することができます。このGoogleサイトはWebブラウザのみでお手軽にコンテンツを書いたり管理したりすることができる反面、カスタマイズ性は低く、HTMLを自分でコーディングしたい場合には不向きです。 このページでは、テキストエディタやDreamweaverなどの一般的なWebデザインソフトウェアを使ってWebページを作り、FTPでサーバにアップロードする
［Google App Engine編］画面設計で制約を避ける
クラウドコンピューティングサービスは、従来にない拡張性を持ち、好きなときに好きなだけのリソースを使えるシステム基盤を提供するものです。しかし、その特性を生かすには、クラウド事業者ごとに異なる設計のルールを守らなければなりません。 そこで本連載は、米Googleのサービス「Google App Engine」に焦点を当て、その「デザインパターン」について解説をします。ここでは、クラウドサービスの特性を生かしたり、制約を回避したりするための設計ノウハウをデザインパターンと呼んでいます。 今回解説する設計ノウハウを「デザインパターン」と呼ぶことに、違和感を持つ読者もいるかもしれません。「これこそクラウド設計のデザインパターンだ」と言えるものは、今後さまざまな知見が集まって確立していくのだと思います。現在はその知見が少しずつたまってきている段階でしょう。今回の連載が、そうした知見の一つになってほし
#appengine でスキーマ変更に対応するバッチ処理を行う
2009/11/05追記ひがさんより指摘を頂いて、30秒制限に関する補足を本文中に青字で追記しました。いつもありがとうございます、助かります＞ひがさん ここから本文 タイトルの処理について、いくつかノウハウを書いておきます。ポイントは以下の2点。 全てのエンティティにスキーマバージョンを保持する ローカル環境からデプロイ環境へ直結してバッチ処理を実行する事で、30秒制限なんて無視してしまう 実例をもとに説明してみます。最近、appengine java night用のまとめページとかに使おうとしているサイトを運営していて、そこに「TwitterでAppEngine関連についてつぶやかれた内容を収集する」という機能を実装しました。しかし、つぶやきを保存する際の投稿者の情報として「Name」を保持しているものの「ScreenName」を保持しておらず、投稿者のタイムラインページへのリンクを作成
PayPal introduces PayPal X Platform Toolkit for Google App Engine
News, notes, tips and tricks from the Google App Engine Team Hello App Engine Developers! My name is Praveen Alavilli (@ppalavilli) and I work as a developer evangelist for PayPal's X Platform at PayPal.com. I want to take the opportunity to introduce you to our new open source toolkit for Google App Engine that provides an easy way to integrate your Java apps running on App Engine with the new Pa
pirka-mobileによるGAEのモバイル対応 - やさしいデスマーチ
1月に入ってからGoogle App Engine/Javaで必要最低限の実装でモバイル対応をするためのライブラリを書いてました。 やれることとしてはシンプルに次の３点。 絵文字の出力 キャリア判定 UID/GUIDの取得 機能てんこ盛りにすることもできますが、それならば既存のライブラリを使えば良いわけです。GAEで使いたいので、spin-upへの影響を最小限にすることを狙っています。 ライブラリの追加 piraka-mobile.jarは他のライブラリに依存しません。 AppEngine のプロジェクトの war/WEB-INF/lib に追加して、クラスパスを設定します。 web.xmlへFilterの追加 JSPで使用する場合は、オレオレCharsetを指定できないので、ServletFilterの設定が必要です。 <!-- Mobile Filter --> <filter> <f
Google App Engineでも柔軟に階層構造データを扱えるかもしれない-入れ子集合モデル - kissrobberの日記
ここでいう階層構造とは木構造の事です。 Google App Engineで階層構造のデータを扱う場合 いろいろアプローチはあると思いますが、たとえば、 自己参照をつかって親のキーを保持する場合だと、 GAEはRDBMSのようなサブクエリや、OracleのCONNECT BYのような関数が使えない為、 親子関係を取得する場合に面倒くさい事になります。 他には、リストプロパティ等を使って祖先パスを保持する方法等もあるとおもいますが、 階層構造に変更が発生するようなデータを扱う場合は変更が面倒くさい事になります。 とはいえ、 そんなに頻繁にカテゴリの階層構造が変わるようなシステムはあまり無いと思いますので、 上記の方法でも問題ないわけですが、 もし頻繁に更新するような階層構造データを扱う場合はどうするか？ 入れ子集合モデルが良くね？って思いつきです。 入れ子集合モデルについてご存知で無い方はこ
Google App Engineでシリアライズのチューニング - kissrobberの日記
GAEアプリって結構Objectのシリアライズ使うことあるよね？（俺だけ？） 転置インデックスとか、ビュー（クエリの結果をまるごとシリアライズして1エンティティに保持してるやつ）とか、 結構いろいろと使ってるんだけど、微妙に遅いので速くならないかなーと。 Javaの標準シリアライズ以外に、シリアライズのライブラリって色々あるみたいです。 Apache Thrift GoogleのProtocol Buffer http://code.google.com/intl/ja/apis/protocolbuffers/ HadoopのWritable Message Pack http://msgpack.org/ 等 んで、速そうな奴＆簡単に使えそうな奴って事で、 HadoopのWritableと、Message Packを試してみました。 サイズ的には、 Java標準 > HadoopのWr
Channel API＋Matcher APIでつくるイベント駆動Webアプリ - スティルハウスの書庫の書庫
これはappengine ja night #12のプレゼン資料です。 Channel APIとは Channel APIは、App Engineで動作するプッシュ通信サービスです。詳しくはこちら： #appengine でComet！ Channel APIでpushできるぞ Channel API on Google App Engine Matcher APIとは Matcher APIとは、「スケーラブルなリアルタイムマッチングサービス」です。 マッチングの条件を独自のクエリ構文で記述して登録 エンティティやdictの内容が条件に合致すると、タスクで通知 数千、数万件の条件を数秒でチェックし通知できます Matcher APIとは 簡単に言うと。。 DB/Datastoreのクエリは「過去に対するクエリ」 Matcherのクエリは「未来に対するクエリ」 例えばこんなdb.Model
Slim3 Twitter4Jメモ(Hishidama's GAE Slim3 Twitter4J Memo)
認証に入る前の画面 Twitterの認証へ行く前のJSPの例。 start.jsp： <a href="http://aaa.appspot.com/bbb/auth">次画面へ</a> このリンクがクリックされると、サーバー側のAuthControllerが呼ばれる。 認証用Controller 「http://aaa.appspot.com/bbb/auth」がリクエストされると、AuthControllerが呼ばれる。 （AuthControllerはgen-controller-without-viewによって生成しておく） package jp.hishidama.gae.slim3.ex1.server.controller.bbb; import org.slim3.controller.Controller; import org.slim3.controller.Navi
Google app engineのFederated Login - hagino3000's blog
GAEのUser APIの認証オプションに Federated Loginってのが増えた。実態はOpenIDなので、Google Appsのアカウントの認証に使ってみたのでメモ。 ログインURLの生成 url = create_login_url(federated_identity=<DOMAIN>) ドキュメントも更新されてる*1 Functions - Google App Engine - Google Code http://code.google.com/intl/en/appengine/docs/python/users/functions.html 設定を元に戻せる 以前からあった、Authentication Optionの「Google Apps」は、一度それに設定すると対象ドメインも含め二度と設定変更できない物だったが、「Federated Login」は元に戻す(
DatastoreのDump/Restoreツールが既存プロジェクトにバインドできるようになりました。 - 市中弾き語りの刑
以前こちらで書かせてもらったgobo-toolsですが、 http://d.hatena.ne.jp/knj77/20101007/1286462560 バグ修正と同時に、既存アプリにもバインドできるよう修正を施しましたので紹介させてもらいます。 Slim3には依存していませんので（未確認ですが）ほとんどのアプリで動作できると思います。 gobo-toolsのインストール方法 1.zipのダウンロード 以下のページから最新のzipをダウンロードしてください。 http://code.google.com/p/gobo-tools/downloads/list ダウンロードしたzipを展開すると以下のものが含まれています。 gobo-tools.20101021.jar gdata-media-1.0.jar gdata-docs-3.0.jar google-collect-1.0-rc1
AppEngine/Jのspin-upを劇的に改善する方法 - ひがやすを技術ブログ
AppEngineは、アクセスがあったときにアプリケーションを起動し、しばらくアクセスが無ければアプリケーションを終了させ、また次のリクエストで再起動するという仕組みを導入しています。 そのため、アプリケーションを起動(spin-up)する時間がとても重要になってきます。このspin-upの時間はpython(webapp)で60cpu_ms以下。(cpu_msはcpuが使う仮想的な時間ですがmsと同じ感じで捉えてもらってもとりあえずは大丈夫です)JavaのServletだと600cpu_msくらいです。PythonでもDjangoような大きなフレームワークだと1000cpu_msくらい(アプリによる)かかりますが、許容範囲内。JavaだとSlim3で1300cpu_ms、Springだと早くて7000cpu_msという感じで、Slim3がギリギリ許容範囲内でしょうか。ほんとうは、1000
#appengine アプリの処理時間は「平均1秒以下」にすべし！重いのはTQへ！ - スティルハウスの書庫の書庫
ひがさんがつぶやかれてた件のソースです： Chat Time transcript for May 5, 2010 Q: Why am I seeing a lot of warning logs saying "Request was aborted after waiting too long to attempt to service your request"? A: As of release 1.3.1, there is no longer an upper limit on the number of requests an app can service simultaneously -- the number of application instances now scales indefinitely with your load, but only if your
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【18-C-4】Google App Engine - 無限の彼方へ
#appengine で skiplist ってすごくね?
