GFS, the Google File System, sits as the backbone of the entire Google infrastructure. However, for many it is a mystery, especially for those lucky enough to be more acquainted with high-level python code than low-level C operating system sources. But have no fear, we shall break through the veil and describe an implementation of GFS in 199 lines of python. Naturally, you may want to read about t

前のエントリで id:kissrobber さんにコメントを頂きました。 Datastoreのスプリット処理ですが、"__scatter__"プロパティを使ってバラす方法もありますよ。 http://goo.gl/gNeh4 が参考になるかと思います。 App Engineで動く並列処理フレームワーク ElShard - GeekFactory やりましょう（笑）ということで早速調べたところ、以下のことが分かりました。 __scatter__プロパティを使うと、データストア上のエンティティを分割できる。 いい感じに分割される。 分割サイズや個数は指定できない。 均等には分割されない。 開発環境では使えない。少なくとも1.4.0ではダメ。 今のところ公式ドキュメントに記載がないため、正確なことは分かりません。情報源は appengine-mapreduce のコード*1と実験結果からの推測の

昨日一昨日、Google App Engine (GAE)に関する日本最大の勉強会（だと思う）appengine ja night #7 (ajn7)が行われました。 その中で『ランキング問題』が話題に上がりました。『ランキング問題』とは、何十万件もの点数のデータがあるときに、App Engine上で、「◯点は何位です」と高速に求めることは難しい、という問題です。（◯ページ目を表示、というページングもこれと同じ種類の問題になります。） ajn7では「上位でない限り正確な順位は必要ないのではないか」という話になりましたが、Skiplistを用いた検索アルゴリズムを使えば正確かつ高速に順位を求めることができるのではないかと思い、実装＆検証してみました。 ランキング（順位取得）のデモ 下記ページで順位取得のデモを動かしています。スコア（点数）を入力すると順位と取得にかかった時間が表示されます（時

@t2y から Python Web フレームワークアドベントカレンダー の担当がパスされてきました。 僕は Python を使い始めて 1年ぐらいになるのですが、主にコマンドラインのアプリを作っていて Web アプリには手をつけていなかったので、アドベントカレンダーに合わせて触ってみることにしました。 Web アプリの題材には、以前 Rails + Google Maps API で作った地図投稿アプリを使うことにしました。 以前 Rails 1.1 の練習題材として作ったのですが、バージョンアップの影響で いつの間にか動かなくなってしまった残念なアプリです。 フレームワークには python のマイクロフレームワークの一つである Flask を、 実行環境には Google App Engine (以下、appengine)を使うことにしました。 環境の作り方 appengine の環

site-packages に悩まされず”に buildout で GoogleAppEngine の環境を作る #buildout#gae#python 2010年 12月 05日 tk0miya

以前に 大量のエンティティを処理するデザインパターン - GeekFactory を紹介しましたが、シングルスレッドのバッチ処理なのでスループットが頭打ちになる問題がありました。コンカレントに処理する方法を思いついたので実装してみました。 シングルスレッドではこんな流れでした。 S3QueryResultListでn件のエンティティを取得する。 エンティティをバッチ処理する。 t秒以内であれば上記を繰り返す。 次のタスクにカーソルを渡す。 ここで、エンティティを取得するタスク（Splitter）とエンティティをバッチ処理するタスク（Mapper）を分けてみます。 Splitterタスク S3QueryResultListでn件のエンティティを取得する。 エンティティをmemcacheに入れて*1、Mapperタスクに渡す。 t秒以内であれば上記を繰り返す。 Mapperタスク memcac

AppEngineは、アクセスがあったときにアプリケーションを起動し、しばらくアクセスが無ければアプリケーションを終了させ、また次のリクエストで再起動するという仕組みを導入しています。 そのため、アプリケーションを起動(spin-up)する時間がとても重要になってきます。このspin-upの時間はpython(webapp)で60cpu_ms以下。(cpu_msはcpuが使う仮想的な時間ですがmsと同じ感じで捉えてもらってもとりあえずは大丈夫です)JavaのServletだと600cpu_msくらいです。PythonでもDjangoような大きなフレームワークだと1000cpu_msくらい(アプリによる)かかりますが、許容範囲内。JavaだとSlim3で1300cpu_ms、Springだと早くて7000cpu_msという感じで、Slim3がギリギリ許容範囲内でしょうか。ほんとうは、1000

appengine ja night11で紹介した裏技１について、もうちょっときちんと測定した結果を書いときます。 limit無し測定で使ったプログラム List<Key> keys = null; log.info("log 0."); keys = Datastore.query(getMeta()).query().asKeyList(); log.info("limit無し. :" + keys.size()); limit有り測定で使ったプログラム List<Key> keys = null; log.info("log 0."); keys =　Datastore.query(getMeta()).query().limit(110000).asKeyList(); log.info("limitあり. :" + keys.size()); データ件数100,450件での測定結

Google App Engineで全文検索、階層カテゴリ検索のデモ作りました。 追記 appengine ja night #11の発表の録画をこちらで視聴できます。 http://kissrobber.appspot.com/gae_full_text_search/ とりあえず、データ件数は10000件ちょいのデモですが、速いです。 まだ試してないですが、もっとデータ増えてもイケるはずです。 もし要望があれば、実装の詳細は公開します。 GAE上での日本語対応の全文検索は、luceneを動かす試みや、compass？の様な実装等あったりしますが、 どれもデータ件数が多いと動かなかったり(数千件が上限でしょうか)、レスポンスが返ってこなかったりして、 実用レベルのものはまだ無いのではないかと思います。 既にある全文検索の仕組みをどうにかしてGAE上で動かすのではなくて、GAEスペシャルな