グーグル、フル機能のMapReduceをGoogle App Engineで提供へ
グーグルは同社のクラウドサービスであるGoogle App Engineで、フル機能のMapReduce機能を提供することが同社のイベントGoogle I/O 2011で明らかにしました。 これまでGoogle App EngineではMapReduceを構成する「Map」「Shuffle」「Ruduce」の3つのうち、Mapperの機能の提供が行われてきました。 Google I/O 2011で行われたセッション「App Engine MapReduce」では、MapReduceを構成するすべての機能の提供が行われることが発表されています。 セッションのポイントを紹介しましょう。 App Engine MapReduce App EngineエンジニアリングチームのMike Aizatsky氏。 MapReduceは数年前にグーグルが開発した処理。社内ではほとんどあらゆるチームがこの処理
AppEngineにどんなアプリが向いているのかを知ろう - ひがやすを技術ブログ
AppEngineは、万能なプラットフォームではありません。むしろ、かなり使い道は限定されていると言ってもいいでしょう。 向いていないアプリで使うとかなりはまって、アプリが完成しないリスクがあります。 一方、向いているアプリで使うとこれまでよりかなり費用を節約できたりとか、儲けにつなげることができます。 AppEngineにどのようなアプリが向いているかというと、AppEngineがGoogleの既存のインフラをそのまま利用していることをまず知っておく必要があります。 Googleのインフラは、(極端に単純化すると)大量のデータを多くの人に同時に見せるために最適化されています。 AppEngineも同様で、大量のデータに大量にアクセスがあっても大丈夫なように、BigtableというKVSを使っています。また、自動でスケールアウトするWebのFront Endも既存のインフラをそのまま使って
「はじめてのGoogle App Engine for Java」出ます - きしだのはてな
工学社から、Google App Engine for Javaの本が出ます。 はじめてのGoogle App Engine for Java―巨大サーバを利用したWebアプリ開発の基本! (I/O BOOKS) 作者: きしだなおき出版社/メーカー: 工学社発売日: 2010/09メディア: 単行本 クリック: 168回この商品を含むブログ (6件) を見る 目次はこちらの工学社のサイトで http://www.kohgakusha.co.jp/books/detail/978-4-7775-1548-6 版形もA5と小さく240ページとコンパクトなので、読みやすいと思います。 データストアに関しては、JDOとかJPAとかはばっさり切り捨てて、低レベルAPIだけで説明してます。 あとは、適当に基本的なサービスの説明を。 版形もA5と小さく240ページとコンパクトなので、読みやすいと思いま
Google App EngineをScalaで使ってみる。 - 自称スーパーハッカーの適当なプログラミング雑記等
久しぶりのScalaだったので少し忘れているところもあって苦労しましたが、なんとか動かすことができました。 方法を書いておきます。 http://code.google.com/intl/ja/appengine/docs/java/gettingstarted/creating.html http://code.google.com/intl/ja/appengine/docs/java/tools/ant.html http://www.scala-lang.org/node/98 この三つのページなどを参考にしてやってみました。 ちなみに、JREやJDK、GAEのSDKやScala以外にも、antが必要です。 まずはディレクトリを作る GaeTest/ src/ META-INF/ war/ WEB-INF/ lib/ classes/ こんな感じになるように、適当にディレクトリを作
Google App EngineでGoogle Apps用OpenID - 市中弾き語りの刑
sdk1.3.4でのOpenID対応を実際に試してみました。 コードはこちら（Javaです） http://code.google.com/p/appengine-openid-test/ 以下の記事を参考にさせてもらいました。 @hidemotoNakada さん http://d.hatena.ne.jp/hidemon/20100521/1274472966 @int128 さん http://d.hatena.ne.jp/int128/20100525/1274809086 ただし、お二方と違って自分は web.xmlのsecurity-constraint を利用しませんでした。 リダイレクト先が気にくわなかったので^^) 代わりにOpenIDFilterを自前で実装しています。 AppEngine でのOpenIDの特徴 sdk1.3.4で追加された機能では、OpenIDのやや
Java Cloud Meeting Tokyo 2010に行ってきたメモ - nakawai’s diary
Java Cloud Meeting Tokyo 2010 自分が参加させていただいたもの Seasar3がやってくる « Java Cloud Meeting Tokyo 2010 Google Web Toolkitのすすめ « Java Cloud Meeting Tokyo 2010 Seasarで動いているWebサービスCacooの裏側 « Java Cloud Meeting Tokyo 2010 Google App Engineプラットフォームの勘所 « Java Cloud Meeting Tokyo 2010 GAEの本質とSlim3によるサクサク開発誤解されがちな点 ※急遽内容変更によりSlim3はカット。 Seasar3はSpring+HotReloading（の予定） ひがさんによる、今のJava Cloudをとりまく情勢を踏まえた、現段階でのSeasar3の構想
OpenID認証によるシングルサインオン - GeekFactory
App Engine 1.3.4でOpenID認証に対応しました。調べてみると意外と普通にシングルサインオンできたので、使い方と仕組みを説明します。 まず、OpenID認証を要求するURLパターンをweb.xmlに書きます。 <security-constraint> <web-resource-collection> <web-resource-name>Authentication required url</web-resource-name> <url-pattern>/user/*</url-pattern> </web-resource-collection> <auth-constraint> <role-name>*</role-name> </auth-constraint> </security-constraint> 例えば http://xxx.appspot.co
appengine ja night #7が終わりました〜 - スティルハウスの書庫の書庫
appengine ja night #7が終わりました！ 今回は「shin1ogawaじゃナイト！」と勝手に名づけさせていただいて、shin1ogawaさんによるセッションとQ&A大会という内容。また今回は、bufferingsさんはじめ京都GTUGの皆様のご協力により、京都のサテライト会場とskypeでつないで質疑応答にもトライしました。 ＜セッション1＞ 発表者：@shin1ogawaさん テーマ：「appengineアプリケーションの自動テスト -最新java sdk版-」 参考URL：404 shin1のつぶやき ないわー Not Found 内容：appengineアプリケーションも、通常のアプリケーションのようにCIできます。その具体的な手順を、実際にアプリケーションを作りながら紹介します。 ＜セッション2＞ 発表者：@shin1ogawaさん、@higayasuoさん、@k
Google App Engineでランキングやページングを実現する - $koherent->diary
昨日一昨日、Google App Engine (GAE)に関する日本最大の勉強会（だと思う）appengine ja night #7 (ajn7)が行われました。 その中で『ランキング問題』が話題に上がりました。『ランキング問題』とは、何十万件もの点数のデータがあるときに、App Engine上で、「◯点は何位です」と高速に求めることは難しい、という問題です。（◯ページ目を表示、というページングもこれと同じ種類の問題になります。） ajn7では「上位でない限り正確な順位は必要ないのではないか」という話になりましたが、Skiplistを用いた検索アルゴリズムを使えば正確かつ高速に順位を求めることができるのではないかと思い、実装＆検証してみました。 ランキング（順位取得）のデモ 下記ページで順位取得のデモを動かしています。スコア（点数）を入力すると順位と取得にかかった時間が表示されます（時
GAE/J使うならこの設定をしておけ！ - 手抜きぷろぐらまのメモ帳
※2010/4/23 sessionのクリアについてご指摘頂き、追記しました。Google App Engine for Java(GAE/J)にて、どんなアプリを使う場合でも （自分的に）ほぼ必須となる設定ファイルのまとめ。 ていうか、リファレンス読めばいーんだけどさ １．sessionを有効にする & クリアの設定をする Javaでsession使わないケースなんてあるのか？ appengine-web.xml に 下記を追加 <sessions-enabled>true</sessions-enabled> GAE/Jでsessionを使う場合、このままだとDatastoreにsession情報が残ったままなので定期的にクリアするcronを設定する web.xml に 下記を追加 <servlet> <servlet-name>_ah_sessioncleanup</servlet-
AndroidとGoogle App Engineを同期する·Synctester MOONGIFT
SynctesterはAndorid + Python製/Google App Engine用のオープンソース・ソフトウェア。スマートフォン単体ではデータ量はたかが知れている。さらにもしスマートフォンを紛失したり壊してしまった場合に全てのデータがなくなってしまうのは大きなリスクだ。 データをオンラインサーバと同期する それを防ぐためにはオンラインのストレージにデータを同期できるのが良い。そういったサービスを提供しているところもあるが、自分で専用のサーバを立てたいならばSynctesterを使ってみると良いだろう。 SynctesterはAndoridアプリとGoogle App Engineの二つのシステムに分かれている。両方ともGoogleが提供するものというのが象徴的だ。データはタイトルとURLの二つとなっている。データを登録する際にはIDとPWを登録し、その上でデータをオンラインスト
Google App Engineでよくある質問 - あおうさ＠日記
質問形式でとりあえずApp Engineの情報を整理しようと思います。 サーバの管理コンソールで表示するとログの時刻表示がおかしい？ タイムゾーンがPSTで表示されます。ローカルの時刻にするgreasemonkeyなどがあります。 firefox http://userscripts.org/scripts/show/47857 chrome https://chrome.google.com/extensions/detail/jmgkgfinhcmnheebklldfggdpgkihiha 開発時にローカルで登録したDatastoreのデータはどのようにすれば確認できますか？ http://localhost:8888/_ah/adminからDatastore Viewerにアクセスすればデータ内容の確認ができます。（いま[SDK1.3]は残念なことに編集はできません。) また、/_a
Google App Engineのデータストアに一貫性と可用性のオプションが追加
グーグルは「Google App Engine Blog」にて、データストアに2つの新機能、Eventual Consistency（結果整合性）とDatastore Deadline（データストアデッドライン）を追加したことを明らかにしました。これにより開発者は、データの一貫性と可用性のどちらを重視するのか、選べるようになりました。 プライマリが落ちていたらコピーを他のデータストアから取得 Google App Engine Blog: Read Consistency & Deadlines: More control of your Datastore Eventual Consistency（結果整合性）オプションは、プライマリのデータストア以外のデータストアにコピーされたデータを読み込むことを許すオプションです。 グーグルの解説によると、これまでのGoogle App Engin
MapReduce on #appengine キタコレ！？ - スティルハウスの書庫の書庫
ひがさんが見つけた書き込み： 30 sec execution limitation only to web requests or to all requests ? We've committed to map/reduce support to help make this easier on our roadmap for a future release. MapReduceキタコレ！ いつのまにコミット（＝確約）してたなんて。。 以前のGoogle I/Oビデオでは「MapReduceはいつサポートするの？」という質問に「それにはやるべきことがたくさんあるなぁ。。」的な解答でしたし、ロードマップにも載っていませんでしたから、MapReduceサポートは遠い先な感じでした。 が、Google I/O 2010セッション一覧には「Building high-throughput d
Google App Engine for JavaでOpenIDを試してみた。 - 市中弾き語りの刑
フレームワークには、slim3を使っています。（今回はあまり関係ないけど。） ライブラリを探したところ以下の二つが見つかりました。 http://code.google.com/p/openid4java/ http://code.google.com/p/dyuproject/ openid4javaはGAE上では動かないというので、 http://groups.google.co.jp/group/google-appengine/browse_thread/thread/9e4381f41c7d942f?pli=1 試してもいません^^ 今回はdyuprojectを使います。 まず、ダウンロードページから、 dyuproject-openid-1.1.6-jarjar.jarをダウンロードし（jar、jar言い過ぎです。） war/WEB-INF/libに配置して、パスを通します。
Google App Engine入門：実践編
今週に入って、Tiny Message に続く二つ目の Google App Engine ベースのサービスをリリースした。３日ぐらいで試験的に作った Tiny Message とは異なり、今回のものは、丸二ヶ月間寝る間も惜しんで作った力作である。 米国向けのサービスな上に招待制のSNSなので、ここではサービスそのものは公開しないが、いくつかこだわって作った部分があるので、それについて語ってみようかと思う。 1. 対象となるユーザーの絞り込み FacebookやTwitterのような巨人が存在している中で、それにまっこうから対抗するようなソシアル・ネットワーク・サービスを作ったところで無謀なだけである。そこで、逆に対象にするユーザー層を究極にまで絞り込んで、彼らのライススタイルに徹底的にマッチしたサービスを作ることにより差別化をはかる、という戦略を選択。対象は「LAに住む２０〜３０代の社交
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
Google App Engine アプリケーション用の便利な小物たち
TechCrunch | Startup and Technology News
Google App Engine / Java / cold Starup benchmarks (issues).