Google App EngineをScalaで使ってみる。 - 自称スーパーハッカーの適当なプログラミング雑記等
久しぶりのScalaだったので少し忘れているところもあって苦労しましたが、なんとか動かすことができました。 方法を書いておきます。 http://code.google.com/intl/ja/appengine/docs/java/gettingstarted/creating.html http://code.google.com/intl/ja/appengine/docs/java/tools/ant.html http://www.scala-lang.org/node/98 この三つのページなどを参考にしてやってみました。 ちなみに、JREやJDK、GAEのSDKやScala以外にも、antが必要です。 まずはディレクトリを作る GaeTest/ src/ META-INF/ war/ WEB-INF/ lib/ classes/ こんな感じになるように、適当にディレクトリを作
BigQueryってなんぞ？ - スティルハウスの書庫の書庫
Google I/O 2010では、Google Storageと合わせて利用する新機能「BigQuery」が発表されました（これもApp Engineとは個別のプロダクトです）。ひとことで言えば「何100億件のデータも数秒〜数10秒で集計できる、大規模並列クエリサービス」です。既存のOLAPやデータウェアハウスに相当するもので、更新処理には使えません。 MapReduceとはどう違う？ 大規模なデータセットに対して多数のサーバで並列処理するという点ではMapReduceに似ていますが、処理結果がすぐに得られる点、そしてSQLっぽいクエリ言語で表現できる集計処理しか実行できない（mapperやreducerを定義してデータを任意の方法で加工したりできない）点がMRとは異なります。MRよりさらに高水準の分散処理サービスです（MR＋Hiveに近いかもしれません）。 リンク集 BigQuery
Google App Engineでランキングやページングを実現する - $koherent->diary
昨日一昨日、Google App Engine (GAE)に関する日本最大の勉強会（だと思う）appengine ja night #7 (ajn7)が行われました。 その中で『ランキング問題』が話題に上がりました。『ランキング問題』とは、何十万件もの点数のデータがあるときに、App Engine上で、「◯点は何位です」と高速に求めることは難しい、という問題です。（◯ページ目を表示、というページングもこれと同じ種類の問題になります。） ajn7では「上位でない限り正確な順位は必要ないのではないか」という話になりましたが、Skiplistを用いた検索アルゴリズムを使えば正確かつ高速に順位を求めることができるのではないかと思い、実装＆検証してみました。 ランキング（順位取得）のデモ 下記ページで順位取得のデモを動かしています。スコア（点数）を入力すると順位と取得にかかった時間が表示されます（時
#devfest_jp 「Task QueueはMapReduceの夢を見るか？」の資料です - スティルハウスの書庫の書庫
DevFestの私のセッション 「Task QueueはMapReduceの夢を見るか？」の資料です。 Do Task Queues Dream of MapReduce? Tips and tricks about Google App Engine's Task Queue service and parallel processing with it. (by @kazunori_279) 1. What is Task Queue 2. Parallel Query Demo 3. The App Engine Parallelism 4. Concurrency Control on TQ まあ要するに「MapReduceほど大規模な並列処理にはならないけど、順次処理より数倍は速くなるよ」という趣旨です。 また、このセッションで使用する並列検索デモのコードはこちらで公開しています
Google App Engine経由ならTwitterのタイムライン等が取得し放題…というわけでもない？ - 風柳メモ
GAE（のgateway・以下G/W）の全IPアドレスがTwitterのホワイトリストに登録されているわけじゃないんじゃないか、という推測です→【追記】どうも、違うっぽい、かな？（Google App Engine経由ならTwitterのタイムライン等が取得し放題…というわけでもない？(続き) - 風柳メモ）。 Twitter APIの回数制限をGAE上のプロキシで回避する方法 | Web Scratch GAEのProxyでTwitterAPIを取得するPythonライブラリを書いた - /Users/mizchi/workplace/ あたりを読んでいて『あれ、確かGAE経由でもhourly_limitが150で返ってきた覚えが…』と思って確認してみたのですが、やはり返ってくる場合もあるみたいです。 『GAEをproxyにしているから安心』と思ってアクセスを続けた結果、知らない間にユー
Google App Engine上のベスト・プラクティス、その１: Datastore
Google App Engine上でアプリを作りはじめて約二ヶ月。いろいろと分かって来たこともあるので、自分へのメモも含めてまとめてみる。まずは、Datastoreの話から。 なによりも大切なのはデータベースの設計 あたりまえと言えばあたりまえの話だが、App Engine上でアプリを作る上でもっとも大切なこと（＝頭を使うべきところ）は、データベースの設計である。特にリレーショナル・データベース（RDB）上でのアプリ作りに慣れた人には、大きな「発想の転換」が必要なので、ここは注意が必要。 特に絶対にやっては行けないのは、 将来RDB上へ移行できるようにレイヤーを作って、その上にアプリを作る RDB上に作ったアプリをデータモデルを大幅に変更せずにApp Engine上に移植する RDBを前提に設計されたフレームワークをApp Engine上に載せて、その上にアプリを作る など。App En
Google App Engineのメールの扱いづらさに辟易中 - 風柳メモ
先日、Google App Engine/PythonがSDK Version 1.2.6 - October 13, 2009からメール受信に対応したので、 メールを受信したら任意のWebフックをコールする(URLにPOSTする)。 ようなサービスを作っておいて、Webフック(コール側)対応サービスやHugeDomains.com - HookHub.com is for sale (Hook Hub)とかと連携させたら面白いかも、と思い、とりあえず GAE のメール送受信を試していたのですが、挫折しそうです。 とりあえず メールでの投稿・通知しか対応していない携帯百景で、 直接、携帯百景に送る代わりに、GAE宛にメールすると、登録しておいた携帯百景にメール 携帯百景からの投稿完了メールやコメント通知メールはGmail宛に付くようにしておき(携帯百景にGmailでアドレス登録)、通知メー
Google App Engineで独自ドメインを使う
Google App Engine（GAE）で独自ドメインを使う方法です。 GAEに設置したアプリケーションはデフォルトでは、[アプリケーションID + .appspot.com]というドメインでアクセスすることができます。 また、これとは別に独自ドメインをアプリケーションに割り当てることもできます。 独自ドメインを割り当てる方法は知っていないと嵌りやすいので手順を書いておきます。 仕組みと手順 まずは仕組みから。 GAEでの独自ドメイン割り当ては、独自ドメインのCNAMEでGAEサーバを指すことで実現します。よって独自ドメインのDNSが設定できる必要があります。 私はドメイン管理にムームードメインを使っているのですが、ムームードメインではコントロールパネル（Web管理画面）にてDNSの設定ができます。 次に手順。 前提として独自ドメインは既に取得済みとします。 Google Appsを申
Google App Engine入門：フレームワークの選択
Google App Engine向けのアプリを作る際に最初に悩んだのはフレームワークの選択。Google App Engineにはwebappという最低限の機能を持ったフレームワークが付いて来るが、Python使いの人たちの間では、DJangoというフレームワークが広く使われているらしいし。かといって、あまり大きなフレームワークを使うと、パフォーマンスのチューニングとかもしにくくなるし、フレームワークそのもののバグや制限に悩ませられる可能性もある。 そんな中で増井君が見つけてくれてまず試したのが、Junoというフレームワーク。DJangoと比べると遥かに小さく、WebappよりもURLのルーティングのメカニズムとかが充実している。 そこで一旦はアプリをJunoの上で作り始めたのだが、Junoのソースコードを見ているうちにいろいろと気に入らないところが出て来た。不必要にオプションが多いし、
ここが大変だよBigtableとGoogle App Engine
ここが大変だよBigtableとGoogle App Engine：分散Key-Valueストアの本命「Bigtable」（3）（1/2 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 月間3000万PVの大規模サイトの運用費が月額4万円!? 月間3000万PV相当の膨大なトラフィックを楽々とさばく大規模サイトが、月額4万円弱で運用されている。 Google App Engine（以下、App Engine）が普及するにつれて、そんな驚愕の国内事例も登場しつつあります。GClueがApp Engine上で実装したmixiアプリモバイルモバイルには、1日100万PV以上のアクセスが集中している状態でもサービスのレスポンス低下やダウンは皆無
App Engineのユニーク制限を正しく理解しよう - ひがやすを技術ブログ
Google App EngineではRDBMSのようなUnique Indexをサポートしていません。ユニーク制限を実現する場合は、トランザクション中でKeyを使ったgetとputを組み合わせる必要があります。 ここでは、email addressがユニークだったらそれを確定してtrueを返し、そうでない場合にはfalseを返すコードを考えます。 最初にトランザクションを使わないコードを見てみましょう。KeyFactory.createKeyの最初に引数は、kindといってテーブル名みたいなものです。 public boolean putUniqueEmailAddress(String value) { DatastoreService ds = DatastoreServiceFactory.getDatastoreService(); Key key = KeyFactory.cr
Google App Engineのtips集 - スティルハウスの書庫の書庫
（随時更新中です。間違いなどありましたらコメントをお願いします！） このページのtinyurl: http://tinyurl.com/gaetips Datastoreのtips Bigtableの内部構造 BigtableによるDatastoreの実装 Datastoreによるクエリの実装 トランザクションとエンティティグループ Datastoreのtips List Proprtyとmerge joinの使い方 GAE一般のtips GAEのサーバー構成とリクエストの流れ Task Queue APIの使い方 開発環境とプロダクション環境の違い Flex/AIR＋GAEのtips GAE/JにBlazeDSを組み込む BlazeDSの本番環境へのデプロイでハマる Datastore APIの取り扱いでハマる App Engine開発の便利な参考ページ TOPGATEさんのGoogle
実開発で分かったGoogle App Engine for Javaの“すごさ”
ゴールデンウィークに特に予定のなかった筆者は，「ちまたで噂のGoogle App Engine for Java（GAE/J）とFlexでスケジュール共有ツールでも作ってみよう」と思い立ちました。およそ5日間かけて開発を進めたのち，2009年5月6日に「ご都合.com（画面1）」を公開しました。その後，はてなブックマークやニュースサイトなどでご紹介いただいたおかげで，公開後6日で約2000人の方にご利用いただいています。 そこで本稿では，この「ご都合.com」の開発で実際に筆者が得た経験を通じて，GAE/JによるWebアプリケーション開発の実際とそのポテンシャルについて紹介します。 米Googleが2008年4月に発表したGoogle App Engine（画面2）は，「自分が開発したWebアプリケーションをGoogleのデータセンターで運用できるクラウドコンピューティング・サービス」です
Google App Engine上でWicketを動かす - 矢野勉のはてな日記
Java, WicketGoogle App Engine for Javaのアカウントを取っておいたので、Wicketが動くかどうかチェックしました。 Wicketでは1.3の途中から、セッションストアがSecondLevelCacheSessionStoreという、ワークファイルに情報を書き出すタイプに変更になりました。ここがネックになるだろうと思っていたら、やっぱりファイル作成は規制されているとのこと。 で、HttpSession上にページ情報を格納する「HttpSessionStore」に切り替えてみたら、普通に動きました。 アプリケーション・クラスの設定はこのような感じです。 public class WicketApplication extends WebApplication { /** * Constructor */ public WicketApplication(
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sign in - Google Accounts
#appengine で skiplist ってすごくね?・その2
AppEngineを使ったソーシャルアプリの開発と運用
Google App Engineで開発するスケールするアプリケーション一覧
GAE/J(Google App Engine for Java) について - scala-tohoku | Google グループ
転送中