とても遅かった以前の実装をTask Queueを使って書き換えることができました。感想をまとめると、 Task Queueはすばらしい。30分かかってた処理が3分で終わるようになった（前の実装がヘボいのではという疑惑はさておき） 処理を複数のタスクに分割して並列処理する（map）は簡単だけど、memcacheを使ってその結果をまとめる（reduce）のは面倒 reduce不要な用途（一括削除とか）や、reduceが簡単な場合（数の集計とか）、あとmemcache使わずにDatastoreに集約する使い方なら、そんなに苦労しないだろう memcacheを介してデータの配布や収集をするとき、とくに収集時の排他を書く必要あり（こういうバグりそうな／バグを再現できなさそうなコードは書きたくない） MemcacheService#incrementを使ってスピンロックを実装した memcacheはい

SDK 1.2.5からGoogle App EngineにTaskQueueが導入されましたが、ローカル(development server)でデバッグはできないと思っている人が結構いるようなので、やり方を書いておきます。 ローカルの環境では、Queueにaddしたタスクは、自動的には実行されず、Queueにたまっています。たまっているタスクを実行するには、http://localhost:8080/_ah/adminにアクセスし、左側のTask Queuesのリンクをクリックします。 すると、Queueの一覧が表示されるので、そこでQueueのリンクをクリックすると、タスクを実行する画面に遷移します。そこで、runのボタンを押すと、ローカルでQueueのタスクを実行できます。 Web ApplicationをDebug Asで起動しておけば、EclipseからDebugすることもできま

クラウドしたいということで、Google App Engine で遊びはじめた。 まず、たくさんのデータを登録するために、PythonでTask Queue APIを使ってみた。 例の動作内容 OPMLを取得する OPMLのXMLをperseしてmemcacheに入れる。 200件ごとに分割してTask Queueに登録する。 Task Queueに登録すると勝手に、CPUに割り当てて並列実行してくれる。無料版の場合、最大5個まで同時実行してくれる。並列に実行しているのを見ると楽しい。 DataStoreへの登録は1-10件/1秒らしく、200件で24秒かかる。分割を250件にすると30秒を超えてTaskが途中でkillされる。 DataStoreに5000件登録するだけで、無料版のCPU時間の2%を使ってしまう。ということは、無料版だと25万件登録するとCPU時間のQuota/1dayに

2010年04月14日16:30 カテゴリ書評/画評/品評Math 逆数学 - 書評 - 機械じかけの数学 スゴ本の中の人より献本御礼。 機械じかけの数学 Mark Levi / 松浦俊輔訳 [原著:The Mathematical Mechanics] 面白い。この発想はなかった、というより、長らく忘れていた。 と同時に、dainさんがなぜ本書を挫折したかもよくわかった。 本書を面白いと感じるためには、少なくとも高校レベル、出来れば大学レベルの古典力学を直感できるようになっている必要があるのだから。 本書「機械じかけの数学」は、今では基本的なアプローチとなった「数学で物理学を解く」の反対、「物理学で数学を解く」事例を一冊の本としてまとめたもの。 目次 序論 ピュタゴラスの定理 最大と最小 電気のショートによる不等式 重心―証明と問題 重心―幾何学と運動 力学を使った積分計算 伸ばしたばね

ノートパソコンの性能があがってデスクトップが使われなくなった 昔はノートパソコンはデスクトップより高くて非力だったのですが、今はノートパソコンのほうが安いものが売られていて、性能も通常の使用では問題がありません。 ぼくも、3年前のノートパソコンをSSD+Windows 7にしたところとても快適で、デスクトップはテレビみるためだけにしか使わなくなりました。もうハードディスクでコンパイルしたくないです。 こことか見てもノートパソコンの不満はディスプレイの大きさが主なので、気になる人は外部ディスプレイをつなげばいいだけです。 昔はパソコンといえばデスクトップだったのに今ではノートパソコンの方が売れてるんだな 家と出先で同じデータを使いたい。同期はめんどくさい 結局のところ、デスクトップを使わなくなったのは、データの同期がめんどくさいからです。 ネットにデータを置くとしても、作業用には手元にデータ

Datastoreのトランザクション エンティティグループ単位でACIDを保証 Bigtableは行単位のACIDしか保証しない。Datastoreではエンティティグループ単位でのACIDを保証している 楽観的排他制御（optimistic lock）を実装 エンティティグループのrootエンティティにて、トランザクションの最終コミット時間のタイムスタンプを記録 トランザクションの開始時に同タイムスタンプを確認し、コミット時にタイムスタンプを再度確認する タイムスタンプが変化していなければ、更新内容を保存して、タイムスタンプを更新する タイムスタンプが変化してれば、他のトランザクションとの競合が発生しているので、トランザクションをロールバックする RDBの悲観的排他制御（SELECT FOR UPDATE）のようにエンティティをロックしないので、スループットは高いが、競合時のリトライが必要

http://ochinch.in/ あれ？これ、一年くらい前から私が大事に 腐らせてた 温めてたドメインのはずなのにだれが？どうして？？ ほら、レジストラからのメールだってここに・・・ from VALUE DOMAIN <support@value-domain.com> to xxxxxxxx@gmail.com date Sun, Jan 13, 2008 at 11:58 PM ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ドメイン登録完了のお知らせ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ VALUE-DOMAIN ドメイン登録サービスのご利用ありがとうございます。このメー ルはドメインの登録が完了した事をお知らせするものです。内容をご確認いた だき、適宜ご作業くださいますようお願いいたします。 ━━━━━━━━━━━━━

http://code.google.com/appengine/docs/memcache/ はじめに Memcacheサービスは君のアプリケーションに複数のアプリケーションからアクセス可能でハイパフォーマンスなオンメモリkey-valueキャッシュを提供してくれる。Memcacheは一時データのようにデータストアのような永続性やトランザクションが不要なデータや、高速アクセスのためにデータストアからコピーしておくようなデータに向いている。Memcache APIはDanga Interactiveのmemcachedと同様の機能を備え、互換性も保っている。 Memcache APIを利用すると次の理由からアプリケーションのパフォーマンスがあがり、データストアの負荷が軽減される: データストアへのクエリが劇的に減少する とても人気のあるページでもデータストア割り当ての使用量を削減する 高負

http://code.google.com/appengine/articles/transaction_isolation.html はじめに Wikipediaによるとデータベース管理システムのトランザクションの分離レベルは「ある操作による変更が並列に実行される他の操作から見えるようになるタイミングとその手段によって定義される」そうだ。この記事ではGoogle App Engineデータストアでのトランザクションの分離について説明したい。記事を読めば並列な読み書きがどのように実行されるかより深い理解が得られるだろう。 Read Committed データベースによってサポートされる分離レベルは4つ(Serializable, Repeatable Read, Read Committed, Read Uncommitted)だが、データストアの分離レベルはそのうちのRead Comm

http://code.google.com/appengine/docs/memcache/ はじめに Memcacheサービスは君のアプリケーションに複数のアプリケーションからアクセス可能でハイパフォーマンスなオンメモリkey-valueキャッシュを提供してくれる。Memcacheは一時データのようにデータストアのような永続性やトランザクションが不要なデータや、高速アクセスのためにデータストアからコピーしておくようなデータに向いている。Memcache APIはDanga Interactiveのmemcachedと同様の機能を備え、互換性も保っている。 Memcache APIを利用すると次の理由からアプリケーションのパフォーマンスがあがり、データストアの負荷が軽減される: データストアへのクエリが劇的に減少する とても人気のあるページでもデータストア割り当ての使用量を削減する 高負

http://code.google.com/appengine/docs/images/usingimages.html はじめに Image APIを使うとリサイズや回転、色やコントラストの調節など標準的な変換を行うことができる。これらの変換は通常はユーザーがアップロードした画像や写真に対して行われることだろう。このドキュメントでは画像を動的にアップロードしたり変換したり保存したりする手順について説明する。Getting Started Guideにある例題Guestbookを利用して、挨拶と共にアバターをアップロードできるように改造してみよう。 画像プロパティ作成 初めにやるべきことは、ゲストブックサンプルのモデルを修正して、アップロードされる画像をBlobで保存できるようにすることだ。 class Greeting(db.Model): author = db.UserProper

米ITWorldは、関係者の話としてAppleのFlash外しに対し堪忍袋の緒が切れたAdobeがいよいよAppleを訴える準備を始めたと伝えている。２、３週間以内に提訴する見通しという。 まだ報じているのがITWorldだけだし、そのITWorldも一人の関係者の話としてブログ的に軽く書いているだけなので、確実な情報とはいえない段階。また具体的にどういう法的根拠で提訴するのかも分からない。 法的根拠は分からないが、Appleが特定の言語で開発されたアプリ以外は認可しない方針に変更したことがきっかけになったもようだ。 人気ブログDaring Fireballによると、iPhone、iPad、iPod touch向けのアプリ開発環境として、Appleが認めるプログラミング言語はObjective-C、C、C++、JavaScriptの４つ。AdobeのFlashやマイクロソフトのSilver

ちと早いが、夏にぴったりの一冊。浜辺で読むとなおよろし。 アーサー・C・クラークが、こんなにあざやかなジュヴナイルを書くなんて。人類存在の根源を問うような重厚なハードSFと思いきや、肩透かしを喰らう。書かれたのは1962年、この時代からすると近未来サイエンス・フィクションなのかもしれないが、読んでる今から見ると、現未来小説になる。舞台は2010年（今だ！）のグレートバリアリーフで、少年とイルカの交流を描いているものの、まさに「今のいま」の話にも取れる。 というのも、水中マイク（ハイドロフォン）を使ってイルカとのコミュニケーションを図るのだ。「イルカ語」なんて代物で、意思の疎通を図り、イルカ側も人の気持ちを汲み取ろうとする。カリカチュアライズされているものの、東京ディズニーシーの「タートル・トーク」が近い世界になるかも。ネタなのかマジなのか分からないが、商品化されている「バウリンガル（犬語翻