Google App Engineを使ってAmazon S3ライクなオンラインストレージを構築·Troois MOONGIFT
TrooisはGoogle App EngineをAmazon S3ライクにファイルストレージとして利用できるようにするソフトウェアです。 Google App EngineをAmazon S3ライクに使えるようにするソフトウェアがTrooisです。RESTfulにファイルをポストして、さらに提示されたURLにGETアクセスすることでファイルのダウンロードができます。 Google App Engineを起動します。 Webブラウザでアクセスしました。ファイルのアップロードだけがあります。 アップロードしました。ユニークなキーが表示されます。 /serve/(先ほどのキー)へアクセスするとアップロードしたファイルがダウンロードできます。 TrooisはWebブラウザから使うというよりもWeb API（RESTful）を通して使う前提のシステムと言えそうです。Trooisのプロジェクトサイト
ゴーガ社にてGoogle App Engineエンジニアを募集中！ | MOONGIFTビジネス
GAEを使った先端テクノロジー。 ここで実現しませんか？ ゴーガは、Googleの正規開発パートナーとして、 Google Maps API の提供やGoogle App Engine (GAE)による クラウドシステムの開発を手掛けています。 Google App Engine (GAE)によるクラウドシステム開発は、 Google の膨大なサーバーリソースのおかげで、 1秒に100件以上の同時アクセスがあっても耐えうるほどの対応力。 災害時や問題発生時などの非常時にアクセスが急増しても、 何もなかったかのように切り抜けるのはLAMP環境では得られない 体験です。さらに圧倒的なコストの安さも大きな魅力です。 日本ではまだ社内アプリ、個人レベルでの利用が目立つGAEですが、 このメリットを日本にもっと広めるためにも、 今回Google App Engine担当のエンジニ
BigtableをjQueryで操作できる「gaedirect」とは
BigtableをjQueryで操作できる「gaedirect」とは：クラウドとgaedirectでできる緊急対応マッシュアップ（1）（1/3 ページ） 緊急時の“クラウド”の有用性 このたびの東日本大震災で被災された皆さま、ご家族ならびに関係者の皆さまに、心からお見舞いを申し上げます。今回の大震災では、多くのWebサイトでアクセス不能状態が発生したのは、記憶に新しいところです。緊急時こそ、必要な情報を入手するために多くの人がWebサイトにアクセスするわけですが、このような切実に情報が必要とされるときに限って、トラフィック増大によるアクセス不能が発生してしまう状況が多々見られました。 しかし、このような緊急時対応サイトをGoogle App Engine（以後、GAE）などによってクラウド化しておけば、このような問題は解決できたといえます。クラウドを使用すれば、ユーザーアクセスが急激に増加
App Engineで動く並列処理フレームワーク ElShard - GeekFactory
App Engineで大量のデータを並列処理するフレームワーク ElShard を作っています。batch addとdeleteのサンプルができたので、とりあえずまとめてみます。 ElShardは、入力リストを分割して処理して集約する考え方に基づいています。並列処理はApp EngineのTaskQueueで実現しています。タスク間では10kBのペイロードしかやり取りできないため、データをやり取りする用途には適していません。そのため、実際のデータはDatastoreに格納しておき、キーをタスク間でやり取りすることになります。 現段階では集約をどうやって実現するか未定ですが、キーでソートされるというDatastoreの性質をうまく利用できる気がします。Matcher APIが使えるといいなぁ。 リストを処理する ElShardでは、InputとTaskの2種類のタスクを組み合わせてジョブネッ
GitHub - GoogleCloudPlatform/appengine-mapreduce: A library for running MapReduce jobs on App Engine
Java: Picasa APIにアクセスする方法のまとめ | 自転車で通勤しましょ♪ブログ
GAE for Javaで、Picasa APIにアクセスする方法を調査していました。 画像をメインにするようなサイトをGAEでやると、データストアにデータを置くと無料領域まですぐにいってしまうだろうし、なによりOutgoing Bandwidthを使い果たしてしまう（というか使い果たした…）ので、ファイルやよく使うバイナリデータは外に置いたほうがいいです。そのため、データ置き場としてPicasaを使ってみようかなと思った次第です。 まぁこれといってGAEだからということもないのですが、多少トラブったので、メモ代わりに残しておきます。 Google Data ProtocolにアクセスするためのClient Libraryをダウンロード。こちらより。 Client LibraryのPicasawebServiceでGoogle Loginを行ったところ、エラーが発生した。ぐぐったら原因がわ
サーバー側コーディング不要のGoogle App Engine開発環境「jsonengine」
はじめに 本稿では、JavaやPythonによるサーバー側コーディングを一切必要とせずにGoogle App Engineによる開発を実現するツール「jsonengine」について紹介します。 対象読者 Google App Engineに興味はあるが経験のない方。JavaScriptやActionScriptによるクライアント開発、またはiPhoneやAndroidによるスマートフォン開発の経験のある方。JavaやPythonの開発経験は不要です。 必要な環境 最低動作環境は次のとおりです。 Java SE 5 jsonengineって何？ 「jsonengine」は、JavaやPythonによるサーバー側コーディングを一切必要とせずにGoogle App Engineによる開発を実現するオープンソースのツールです。このツールは、昨年開催された「Mashup Awards 6」において「
Song of Cloud: SDK 1.2.8 Release Notesで語られなかったこと
先日App Engine SDK 1.2.8 for Javaがリリースされました。 公式のリリースノートに記載されていない非常に重要な機能追加がありますので、ここで紹介します。基本的にすべてデータストアのお話です。しかもLow-Level API。 ご指摘いただきまして、ミスリードしそうな個所について修正しました。今後もわかったことがあれば追記していく予定です。 プロダクション環境でカーソルが予想外の動きをしました。このため、開発環境と両方で動くコードに更新しました カーソルの追加 これまでデータストアでページング処理を行う場合には、ページング用のプロパティを用意したり、ページング用のインデックスを用意したりと、様々な力技が提案されてきました。 しかし、今回のアップデートでCursorという「クエリの現在位置を覚えておくオブジェクト」がひっそりと追加されました。これを利用すると簡単にペー
Googleの巨大分散データストアBigtableとDatastoreを理解する
今回は、米Googleのクラウド環境に存在するデータベースBigtableとDatastoreサービスを紹介します。「巨大分散」という新たなデータベースの地平を切り開くためにどのような工夫をしているか、じっくり見ていきましょう。 「Bigtable」は、Googleの主要なサービスを支える独自の巨大分散データストアです＊1。Bigtableは、2005年4月から本格的な運用（プロダクション利用）が開始されたもので、Googleの検索サービスをはじめ、Gmail、YouTube、Google Maps、Google日本語入力、そしてApp Engineなど、70以上のプロジェクトで利用されています。その規模は、数P（ペタ）バイト～数十Pバイトに達しているでしょう。 Bigtableは、Google検索サービスにおける膨大なコンテンツやインデックスを保持し、高速に検索するための専用データストア
Pickle vs JSON — Which is Faster?
If you’re here for the short answer — JSON is 25 times faster in reading (loads) and 15 times faster in writing (dumps). I’ve been thinking about this since I wrote the ObjectProperty and JsonProperty classes for Google App Engine. They’re both easy to use and work as expected. I did have some trouble with ObjectProperty but I figured it out in the end. As my previous posts mention, the ObjectProp
Google App Engineでシリアライズのチューニング - kissrobberの日記
GAEアプリって結構Objectのシリアライズ使うことあるよね？（俺だけ？） 転置インデックスとか、ビュー（クエリの結果をまるごとシリアライズして1エンティティに保持してるやつ）とか、 結構いろいろと使ってるんだけど、微妙に遅いので速くならないかなーと。 Javaの標準シリアライズ以外に、シリアライズのライブラリって色々あるみたいです。 Apache Thrift GoogleのProtocol Buffer http://code.google.com/intl/ja/apis/protocolbuffers/ HadoopのWritable Message Pack http://msgpack.org/ 等 んで、速そうな奴＆簡単に使えそうな奴って事で、 HadoopのWritableと、Message Packを試してみました。 サイズ的には、 Java標準 > HadoopのWr
403 Forbidden
＼閉鎖予定のサイトも売れるかも？／ アクセスがないサイトもコンテンツ価値で売れる場合も… ドメインの有効期限を更新してサイト売却にトライしてみましょう
Google App Engine for Java でBasic認証 - hidemonのブログ
Google App Engine for Javaは，Servletをベースとしている．Servletエンジンの多くには，Basic認証が組み込まれていて，設定ファイルを書くだけで使えるようなのだが，設定ファイルの書き方は，個々のServletエンジンに依存しているらしい．Google App EngineはいまのところJettyを使っている．なので，Jettyの流儀に従って設定ファイルを書けばひょっとしたらBasic認証を使えるのかもしれないのだが，いつJettyじゃなくなるかわからないのでちょっと怖くて使えない．ということで，Python版にひきつづき自前で実装してみた．なんか，こんなことをしなくてももっといい方法があったではないかという気がするが，これも勉強だということで，気にしない． Filter Servletにはフィルタチェインという概念がある．実ロジックのかかれているSer
Scala で Google App Engine - hidemonのブログ
Scalaのプログラムは，かなりそのままJavaのクラスファイルとなるので，Google App EngineのサーブレットをScalaで書けるんじゃないかと思っていたが，やってみたら，すごく簡単に書けた． 方法は，こちらのサイトを参考．Eclipseのプラグインを使う． 準備 下記の手順で環境をセットアップする． Google App Engine のプラグインをEclipseに導入する． ScalaのプラグインをEclipseに導入する．方法は，こちら． App Engineのプロジェクトを作成する． パッケージエクスプローラのプロジェクト名上で，右クリックでコンテクストメニューを出し，Scala-> Add Scala Natureを選択．これによって，作成したプロジェクトでScalaが使えるようになる． ここまでで，App Engine開発サーバでScalaが実行できるようになる．
Google AppEngineについて思うところ
早すぎる最適化オジサン @makotokuwata まずAppEngineがいまいちブレークしないのは、お金を集める仕組みが用意されていないことと、Datastore (Bigtable) の使い方が難しいことの2点だと思う。 2010-11-05 23:11:32 早すぎる最適化オジサン @makotokuwata 1点目の、集金システムについて。AppEngineと比べて、たとえばiPhoneアプリは十分ブレークしているといえるけど、これはやはりiPhoneアプリは販売して収益を出せる可能性があることが大きい。 2010-11-05 23:12:58 早すぎる最適化オジサン @makotokuwata それに比べて、GAEはインフラと開発環境は提供するけど、集金の仕組みは提供できてない。言い方を変えると、無料で使える環境は提供しているけど、収益を上げるための環境は提供できてない。そこが
Google App Engine はマルチスレッドで動いているのか？ - hidemonのブログ
Programming Google App Engine の93ページ上のあたりに，App Engine の一つのインスタンス上で同時に複数のリクエストをそれぞれのスレッドで処理する「かもしれない (may) 」，だからちゃんとスレッドセーフに書く様に，という趣旨のことが書いてある．実際のところどうなのか，調べてみた． テストプログラム いたって簡単．static で乱数値を生成して保持しておく．これがインスタンスのIDの代わりになる．で，10秒休む．開始時刻と終了時刻とIDを出力する． public class UpTest extends HttpServlet { static double val = Math.random(); @Override protected void doGet(HttpServletRequest req, HttpServletResponse
XMPP/Waveとも連携するGoogle App EngineのJSONサーバ·JSONBOT MOONGIFT
JSONBOTはGoogle App Engine用のオープンソース・ソフトウェア。IRCでよく使われるのがボットと呼ばれる仕組みで、チャット参加者の要望に応えたりするものだ。人口無能的に時々発言をしたり、コマンドによって操作ができたりもする。 Web向けUI 常時ログインしているサーバを立てるのは面倒ではあるが、手軽に実現するのがGoogle App Engineを使った方法だ。対話を行う方式としてJSONを使っている、それがJSONBOTだ。 JSONBOTはXMPPやコンソールを使って操作が可能なサーバだ。プラグインに対応しており、様々なコマンドが利用できる。フィードを取ってきたり、Wikipediaを検索する、天気を調べるなど様々な操作が可能だ。Web上からも操作はできる。 フィード登録機能 プロジェクトとしては終わってしまったがWaveプロトコルにも使えるらしい。フォーマットがJ
409 Conflictにより、Google App Engine/J にDeployが出来ない - two-strokeの日記
GAE/Jですが、突然Deployが不可能になってしまいました。 Deploy失敗時にGoogle Eclipse Plugin が出力したログを見ると、appcfg.pyのrollbackコマンドで幸せになれるという情報が見てとれますが、 Python版をインストールする気は無いので、もうしばらく解決方法を探そうと思います。 Unable to upload: java.io.IOException: Error posting to URL: http://appengine.google.com/api/appversion/create?app_id=xxx&version=1& 409 Conflict Another transaction by user xxx is already in progress for this app and major version. Th
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【18-C-4】Google App Engine - 無限の彼方へ
Google Code Archive - Long-term storage for Google Code Project Hosting.