Google App EngineとPythonでの素直な開発環境の構築(TDDができるように) - Masatomo Nakano Blog
追記: 続編的なものを書いた。 今年は色々なことに手を出してみよう、ってことで少し前からGoogle App Engine(以下GAE)で、あるモノを作っている。モノ自体は近いうちに公表できると思う。 基本的に、Pythonと標準っぽいフレームワークだけでやってみている。作っているものがそれなりにシンプルなのと(だからこそGAE!)、GAEでそれなりの規模の開発をするのが自分自身初めてということもあり、あまり色々なレイヤーを重ねて手こずりたくなかった、ってのがその理由。 ただ、GAE初心者なので、「いやいやそれは今時ないよ」「XXの方が100倍いい」とかあったら教えてくれると嬉しいので今のところの環境を書いておくことにした。今ならスイッチ可能。 今作っているものがJSONファイルを入出力するだけのものなので、HTML生成パートみたいのはない。 1. フレームワーク 上にも書いたように、今回
GAE/Python で HTTPリクエストを並列化 « Stop Making Sense
August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) はじめに GAE/Python ではスレッドや子プロセス等による並列化が出来ないので、タスクキューを使うのが一般的です。 しかし、URLフェッチについては、非同期リクエストを利用することで、タスクキューを使わずに複数のHTTP通信を同時実行出来ます。
GAE/Python でフルテキストサーチ実装した。 redisを使ったインチキバージョン - When it’s ready.
GAEにどんどん機能が追加されていく中、なかなか実装されないのが全文検索。品詞がとれるセグメンターだけでも提供してくれたら全然便利だと思うんだけどそんなアナウンスはまだ有りません。 なきゃ作ればいいじゃんという事で、全文検索もどきを実装してみました。ひとつ前のエントリー通りTriGramです。 以前、恵比寿のイケメン イアンさんと一緒に作ったmisopotetoというモジュールをベースにしています。 今回のポイントは、転置インデックスをredisサーバに送っているところ、GAE（とうかDB全般）は、インサートがめちゃくちゃ遅いので、Ngramでgram毎にエントリーIDをappendしていくというのは辛いです。Twitterの検索結果15個ｘ100文字位をTriGramでインデックスを作ろうとすると、1500個くらいをgetしてappendして、putする必要があります。以前は、TaskQ
Google App Engine上でPyPress·PyPress For GAE MOONGIFT
PyPress For GAEはGAE用/Python製のオープンソース・ソフトウェア。世界中のブログエンジンシェアを大きく握っているのがPHPのWordPressだ。オープンソースということもあり、その勢いは止まらない。バージョンアップを重ねるごとにどんどん便利になっている。 WordPress for Python! そんなWordPressを模して開発されているのがPython製のWordPressとでも言うべきPyPressだ。とは言えPythonが動くサーバならばPHPも動くだろうし、わざわざ乗り換える需要がないかも知れない。だがGoogle App Engineとなると話は別だ。PyPress For GAEがその答えになる。 PyPress For GAEはPyPressをGoogle App Engine上で動作するようにカスタマイズされたソフトウェアだ。機能的にはWord
Google App EngineをCDNに·CirruxCache MOONGIFT
CirruxCacheはPython製/Google App Engine用のオープンソース・ソフトウェア。Googleは世界中にサーバを持ち、アクセス元にとって最も高速に応答できるサーバを選択してデータを返している。それはGoogle App Engineであっても変わらない。 管理画面はない 高速にデータを返すということは、ごくごくシンプルなCDN（コンテンツ・デリバリー・ネットワーク）と言うことができるかも知れない。その可能性を考え開発されているのがCirruxCacheだ。 CirruxCacheはGoogle App Engine上に立て、静的なコンテンツ（画像など）をキャッシュさせることで次回からのアクセスを高速化するものだ。TTLの設定も行われる。滅多なことでは更新されないコンテンツ（画像など）に対して用いるのが良いだろう。 設定はコードで行う。 キャッシュ可能なIPアドレス
Google App Engineを使ったシンプルなタスク管理·Flasktodo MOONGIFT
FlasktodoはPython/Google App Engine製のフリーウェア（ソースコードは公開されている）。タスク管理は常に人気の高いジャンルだ。ローカルアプリケーションはもとより、Webベース、携帯電話用など様々に存在する。未だに出続けるということは、決定打と呼ぶには何か足りないのかもしれない。 とてもシンプル！ GTDもタスク管理の一つだが、あまりに高機能で最初に覚えることが多い。これではタスク管理が目的なのか、GTDを覚えることが目的なのか分からなくなってしまう。もっとシンプルにシンプルに…それを突き詰めた形がFlasktodoだ。 FlasktodoはGoogle App Engne用のオープンソース・ソフトウェアで、とてもシンプルなTodo管理となっている。短銃にすべきことを登録し、×を押せば完了、Deleteを押せば削除される。完了したタスクは打ち消し線が引かれる仕組
Yahoo! BOSS + クラスタリング + GAEの検索システム·Clustsrch MOONGIFT
ClustsrchはPython製のフリーウェア（ソースコードは公開されている）。Yahoo! BOSSとはBuild your Own Search Serviceの略で、カスタマイズ性の高い検索システムを構築できるWeb APIだ。自サイトのサイト内検索として使ったり、そこから得られるデータを使って様々なマッシュアップを構築したりするのに使われる。 Yahoo! BOSSを使った検索システム そんなYahoo! BOSSを検索システムとして使ったのがClustsrchだ。ただそのまま使うのではなく、階層型クラスタリングと呼ばれる手法を盛り込んでいる。結果から得られる単語を取り出して、グループ化していく手法だ。 Clustsrchで検索を行うと検索結果とは別にグルーピングされた情報が表示される。それをクリックすると検索結果が絞り込まれる仕組みだ。Googleのサジェストに似ているが、さら
サービスの稼働状態をモニタリング、表示する·Stashboard MOONGIFT
StashboardはGoogle App Engine/Python製のオープンソース・ソフトウェア。Webサービスが拡大していくと、自社の提供するサービスが正常に動作しているかチェックしたり、それを利用者に提示する必要に迫られる。特にWebアプリケーションはそうだ。 twilloで使われている例 GoogleはApps Status Page、AmazonはAWS Status Pageといったサイトを用意して各サービスのステータスをモニタリングできるようにしている。そんなステータスページを自社でも用いたいと考える人はStashboardを使ってみよう。 StashboardはGoogle App Engine上にダッシュボードを用意する。GAE上にサービスを構築していたら意味がないが、それ以外のサーバであればモニタリングシステムが切り離せるので便利だろう。各サービスに対してGET/P
Google App Engineでテスト駆動開発を行うための3つのTips | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
Google App Engineの開発ではPythonを使います。GAEを使ったWebアプリの開発でテスト駆動開発を行う際にも，Python的なユニットテストの文脈を活用できます。 ただし，GAEでユニットテストを行うためにはいくつかのツールやトリックが必要です。ここでは，そのテクニックを簡単に紹介します。 その1 : NoseGAEを使う Pythonのテスト用ツールにNoseがあります。このツールは，複数のディレクトリを渡り歩いて，複数のテストコードを一気に実行してくれる便利なツールです。 NoseのプラグインNoseGAEをインストールすることで，GAEアプリのテストを楽に行うことができます。「nose --with-gae」というようにオプション指定をすることでNoseGAEを利用できます。NoseGAEでは，テストコード上でGAEのモジュールやパッケージをインポートするために必
全裸botの全貌 - すぎゃーんメモ
全裸bot(@zenra_bot)について。 一応、完成ということにしたので、機能や工夫した点などをまとめておきます。 今後GAE/PyでTwitter botを作ろうとしている方々の参考になれば。 またご指摘やアドバイスをいただけると嬉しいですが、もうだいぶ情熱が失せてきているので反映する可能性は低いです。ごめんなさい。 ソースコード 常に最新版をGithubにあげてあります。 GitHub - sugyan/Zenra: 全裸にする follow/remove GAEでTwitter botを作った - すぎゃーんメモ ここで書いた、Datastoreとcronを使った自動follow返し&remove機能はずっと使い続けています。 ただ、自動フォロー返しするのに必ずこれをやる必要もなくて、この記事へのid:yuroyoroさんのブクマコメントにある通り、1回のリクエストの中でfoll
Google App Engineを使ったMapReduce·Appengine Mapreduce MOONGIFT
Appengine MapreduceはGoogle App Engine用Python製のオープンソース・ソフトウェア。Googleの基礎技術の一つであるMapReduce。膨大な文字列やデータを細かく細分化し、無数のコンピュータ上で並列処理させることで高速なシステムを実現する仕組みだ。 実行画面 MapReduceはAmazon Webサービスにも真似されており（Amazon Elastic MapReduce）、有益さが分かっている。だが、どう使えば良いかが今ひとつ実感できないかも知れない。そこでMapReduceを手軽に試せるシステムとして開発されたのがAppengine Mapreduceだ。 Appengine MapreduceはGooglerが開発したソフトウェアで、Google App Engine上で動作する。テキストなどを分散化処理することができる。管理画面から処理を
Google App Engineでメールを受信してみる。その２：Djangoの利用 - Kumoma技術日記
前回の、Google App Engineでメールを受信してみる。その１：独自ドメインの利用の続きです。 Google App Engineでメールを受信する場合、ドキュメントにあるように、InboundMailHandlerを使うようになっています。 しかし、アプリをDjangoとHelperを使って作成していたので、webappを使ってInboundMailHandlerでメールを受けようとすると、モデルやモジュールをDjangoのアプリと共有するのが難しい状況になってしまっています。 そこでDjangoでメールを受信できないか試してみました。 その経過が以下です。 1. メールのPOSTの送信方法を確認する。 メールは、 /_ah/mail/address というpathにhttpでPOSTされます。 どのような内容がPOSTされるのかは、http://localhost:8080/
テストケースのベースクラス GAETestBase を作った - たごもりすメモ
前に書いた記事からはやくも半月たってしまったが、やっと出してもいいかなという状態になったので公開します。ファイルそのものはこちら。 GAETestBaseはPython標準のunittest.TestCase継承クラスとなってます。ユニットテストを書く際に、通常のTestCaseのかわりにGAETestBaseを継承してユニットテスト用のクラスを作り、あとは普通にテストコードが記述できます。 PythonおよびAppEngine SDK以外への依存がゼロで環境を選ばない、はず、なのが売りかな？ ところで出来上がったあと公開用の準備をやってたら、GAE/J側ではslim3がkotoriを組み込んだという話が。おおお。 できること CLIでのテスト実行 開発中のテスト実行が、Python標準のunittestと全く同じようにCLIから実行できます テストケース側で指定があれば各サービスはrem
FlaskならApp EngineのTwitter Botが15行で書ける — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 関連 : microneを使ったらApp EngineのTwitter botが14行で書けた Flaskというフレームワークを使って，Google App EngineでTwitterのBotを作ってみたら15行で書けてしまった(あと5行短くなるけど，PEP 8というPythonのスタイルガイドを破ることになるのでそこまで短くしない)。 まずはコードを見てもらいましょう。 #coding: utf-8 from random import choice from twython import core from flask import Flask app = Flask(__nam
AndroidとGoogle App Engineを同期する·Synctester MOONGIFT
SynctesterはAndorid + Python製/Google App Engine用のオープンソース・ソフトウェア。スマートフォン単体ではデータ量はたかが知れている。さらにもしスマートフォンを紛失したり壊してしまった場合に全てのデータがなくなってしまうのは大きなリスクだ。 データをオンラインサーバと同期する それを防ぐためにはオンラインのストレージにデータを同期できるのが良い。そういったサービスを提供しているところもあるが、自分で専用のサーバを立てたいならばSynctesterを使ってみると良いだろう。 SynctesterはAndoridアプリとGoogle App Engineの二つのシステムに分かれている。両方ともGoogleが提供するものというのが象徴的だ。データはタイトルとURLの二つとなっている。データを登録する際にはIDとPWを登録し、その上でデータをオンラインスト
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Google APP Engine Python入門(2010年2月版） - TechTalkManiacs
Google APP Engineについては初期のころのまとめはあるのですが、Pythonですとリリースからそろそろ2年近くになり内容も大きく様変わりしています。最速マスターシリーズでもGoogle APP Engineについてのまとめが無く、そろそろアップデートの必要があると思いまとめてみました。 基本的にwindows環境中心です。 最初に ドキュメントを見るときは必ず英語版を見ましょう。日本語版があるのはありがたいのですが、バージョンとしてはかなり古く、特に歴史の長いPython版では現行の内容とはかなりの隔たりがあります。 Google APP EngineのドキュメントのURLは以下のようなパターンになっています。 http://code.google.com/intl/ja/appengine/docs/**** これのうちjaが言語を表すコードになっていますので、これをenに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
Google Code Archive - Long-term storage for Google Code Project Hosting.
GitHub - snakajima/gdispatch: URL routing mechanism for webapp for Google App Engine Developer
