グーグル、フル機能のMapReduceをGoogle App Engineで提供へ
グーグルは同社のクラウドサービスであるGoogle App Engineで、フル機能のMapReduce機能を提供することが同社のイベントGoogle I/O 2011で明らかにしました。 これまでGoogle App EngineではMapReduceを構成する「Map」「Shuffle」「Ruduce」の3つのうち、Mapperの機能の提供が行われてきました。 Google I/O 2011で行われたセッション「App Engine MapReduce」では、MapReduceを構成するすべての機能の提供が行われることが発表されています。 セッションのポイントを紹介しましょう。 App Engine MapReduce App EngineエンジニアリングチームのMike Aizatsky氏。 MapReduceは数年前にグーグルが開発した処理。社内ではほとんどあらゆるチームがこの処理
Google App Engine / Python 上での開発で最初から知ってればよかった、ってことをいくつか - Masatomo Nakano Blog
ここ数ヶ月、Google App Engine/Pythonを使い、初めてちょっとしたものを作ってみているのだけど、開発初期から知っておけばよかったなー、と思うノウハウ/tips的なものをずらずらと書いてみる。 基本的な環境設定は、 以前書いた まま。 0. 公式ドキュメントを良く読む 言うまでもなく、だけど、 マニュアル はもちろん、 この辺 の下の読み物も、流し読みだけでもしておいたほうがいい。 datastoreとmodel的なところ 1. key nameを使いこなす key nameは、レコードの作成時に指定できる(RDBでいう)primary keyの別名みたいなもの。primary key自体は自動的で作成されるので開発者が指定できるのはkey nameだけ。 key nameをうまく使うことで、datastoreを使いやすくすることができる。特にdatastore上で"un
App Engineで動く画像掲示板(Twitter認証付き)を作ってみた | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー microneを作ってみたのだけど，もうちょっと実践的なアプリを作った方がいいかな〜，と思ったので，画像掲示板を作ってみた。microneimageboardといいます。Twitterアカウントで認証をし，画像を投稿できます。 使い方 ここからブートストラップを取ってくる。 buildout.cgfの50行目あたり，「aha」「aha.plugin.microne」「aha.plugin.twitteroauth」を消して，「aha.application.microneimageboard」に置き換える。また，app/application.pyというファイルを消す。 「python
GAE/Python - RequestHandler
GAE/Pythonで最初に戸惑うのはRequestHandlerだと思います。新規アプリケーション作成時に自動生成されるので必要に応じて書き換えることができれば問題ありません。 RequestHandlerとは GAEにおいて xxx というIDでアプリケーションを公開すると http://xxx.appspot.com/ というURLが割り当てられます。ウェブアプリケーションには、トップページ、記事のリスト、記事の詳細など複数のページがありますが、それぞれのページにどういうURLを割り当てますか？こんな感じに割り当てる場合が多いと思います。RequestHandlerの役割はURLと処理を結びつけることです。 トップページ http://xxx.appspot.com/ 記事一覧ページ http://xxx.appspot.com/list 個別記事ページ http://xxx.app
gae/pythonでの全文検索の現状のbest practice
Either email addresses are anonymous for this group or you need the view member email addresses permission to view the original message 鈴木と申します。GAE/Pythonで開発しておりますが、全文検索の実装について お知恵を拝借できればと思います。 現状、以下のように全文検索を実装しています。 Yahoo形態素解析で検索対象の文章を分かち書き ↓ StringListPropertyにわかち書きした単語を保存 ↓ StringListPropertyにfilterをかけて検索 １キーワードの際にはこれで特に不便はないのですが、 やはり複数ワードでの検索も実装したいと思います。 ２キーワードまでであれば、同じStringListPropertyに対してfi
appengine ja night #14が終わりました〜 - スティルハウスの書庫の書庫
appengine ja night #14、今回の会場はいつものリクルートMTLでした。 おしながき セッション1 「App Engine上の大量データ処理について」 発表者：@int128さん 内容：App Engineで大量のデータを処理する方法とappengine mapreduceの仕組みについて説明します。 @int128さんによる、Task Queueを利用した大量データ処理のデザインパターンや、それらを活用したフレームワークElShard、そしてappengine mapreduceの設計に関する詳細解説。タスクチェーンやクエリチェーンでのシャード分割手法や、appengine mapreduceのScatterプロパティによるシャード分割の違いなど、実測値に基づいてわかりやすく解説いただきました。appengine mapreduceってこんなことやってるだ〜と大変勉強に
Google App Engineでテスト駆動開発を行うための3つのTips | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
Google App Engineの開発ではPythonを使います。GAEを使ったWebアプリの開発でテスト駆動開発を行う際にも，Python的なユニットテストの文脈を活用できます。 ただし，GAEでユニットテストを行うためにはいくつかのツールやトリックが必要です。ここでは，そのテクニックを簡単に紹介します。 その1 : NoseGAEを使う Pythonのテスト用ツールにNoseがあります。このツールは，複数のディレクトリを渡り歩いて，複数のテストコードを一気に実行してくれる便利なツールです。 NoseのプラグインNoseGAEをインストールすることで，GAEアプリのテストを楽に行うことができます。「nose --with-gae」というようにオプション指定をすることでNoseGAEを利用できます。NoseGAEでは，テストコード上でGAEのモジュールやパッケージをインポートするために必
GAE/Python - DataStoreの使い方をまとめてみた
DataStoreとは 本記事内のDataStoreは、GoogleAppEngineのデータストアのことを指す。GoogleAppEngineは、ファイルの書き込みが一切できないため、DataStoreを使う以外にデータを永続化する方法はない。短期であればmemcachedに保存することもできるが、memcachedに保存されたデータは保存期間が保証されないため、一時データをキャッシュして高速化(or 負荷軽減)以外には実質つかえない。 DataStoreの特徴 DataStoreの特徴は、スケーラブルであること。データ数が1万件でも1億件でもほぼ同じ時間で結果が返ってくる（らしい）。ただし、通常のRDBでは簡単にできる操作がDataStoreでは非常に重い処理だったり、不可能だったりするので注意。 苦手な処理 件数のカウント ⇒件数のカウントは、データ全体を取ってくる処理に近いだけの処
Google App EngineとPythonでの素直な開発環境の構築(TDDができるように) - Masatomo Nakano Blog
追記: 続編的なものを書いた。 今年は色々なことに手を出してみよう、ってことで少し前からGoogle App Engine(以下GAE)で、あるモノを作っている。モノ自体は近いうちに公表できると思う。 基本的に、Pythonと標準っぽいフレームワークだけでやってみている。作っているものがそれなりにシンプルなのと(だからこそGAE!)、GAEでそれなりの規模の開発をするのが自分自身初めてということもあり、あまり色々なレイヤーを重ねて手こずりたくなかった、ってのがその理由。 ただ、GAE初心者なので、「いやいやそれは今時ないよ」「XXの方が100倍いい」とかあったら教えてくれると嬉しいので今のところの環境を書いておくことにした。今ならスイッチ可能。 今作っているものがJSONファイルを入出力するだけのものなので、HTML生成パートみたいのはない。 1. フレームワーク 上にも書いたように、今回
GAE/PythonでMemcachedを使ってみた « python練習帳
Memcached使ってみました。単純な例で動作を確認後、python-blog-systemの画像出力部分に適用し、ベンチマークをとりました。 Memcachedとは 分散KVS(キーバリューシステム)の一種です。いわゆるRDB(リレーショナルデータベース)は、スケールアウトに向かない構造をしているために、安いサーバをいっぱい並べても性能がリニアに向上しません。Memcachedでは、トランザクションや、データの耐久性などを保証しないかわりに、大量のデータを、高速にキャッシュすることができます。詳しい説明は本家でどうぞ⇒http://memcached.org/ 概要が知りたければwikipediaがお手軽です。 シンプルな例 まずは、非常にシンプルなコードを書いて動作を確認しました。 初回アクセス: 何も表示されません。 キーweatherに対して何も設定されておらず、Noneが返され
サーバー側コーディング不要のGoogle App Engine開発環境「jsonengine」
はじめに 本稿では、JavaやPythonによるサーバー側コーディングを一切必要とせずにGoogle App Engineによる開発を実現するツール「jsonengine」について紹介します。 対象読者 Google App Engineに興味はあるが経験のない方。JavaScriptやActionScriptによるクライアント開発、またはiPhoneやAndroidによるスマートフォン開発の経験のある方。JavaやPythonの開発経験は不要です。 必要な環境 最低動作環境は次のとおりです。 Java SE 5 jsonengineって何？ 「jsonengine」は、JavaやPythonによるサーバー側コーディングを一切必要とせずにGoogle App Engineによる開発を実現するオープンソースのツールです。このツールは、昨年開催された「Mashup Awards 6」において「
Google App Engine for Pythonの開発環境をUbuntu 10.04に構築する - hrendohの日記
Google App EngineのPython版の開発環境をUbuntu 10.04に構築した際の手順をメモしておきます。 ついでに、Hello WorldをGAEにデプロイするまでの手順も載せておきました。 Python 2.5のインストール Pythonのバージョンは2.5です。Ubuntuの最近のバージョンのデフォルトは2.6なので、 Python 2.5を以下の手順でインストールします。 まず、Synapticのリポジトリを追加します。 以下の2行を/etc/apt/sources.listに追加するか、Synapticパッケージマネージャで追加してください。 $ sudo vi /etc/apt/sources.list deb http://ppa.launchpad.net/fkrull/deadsnakes/ubuntu lucid main deb-src http:/
Google Appengine フレームワーク Tipfy の紹介
(この記事は Python Web フレームワーク アドベントカレンダー2010 のために書いた 12/24 の記事です。 他の記事を読むには http://atnd.org/events/10465 をご覧ください) 私は普段、 kay フレームワーク を使いますが、最近、 Tipfy (http://www.tipfy.org) というフレームワークを試してみました。 Tipfy は Kay と同じく、 Google Appengine専用フレームワークです。 Kay は Django に似ているものの、 Tipfy は Appengine SDK の Webapp フレームワーク に 似ているように作りました。 インストール Tipfy は buildout という環境管理ツールの利用を推進しています。 まずは、 Tipfy の配布プロジェクトテンプレート をダウンロードします。
モジュールの遅延ロードについて - 偏った言語信者の垂れ流し
AppEngineでスピンアップが遅くなり過ぎないようにとか考えると、Pythonでもモジュールの遅延ロードをしないといけないわけで、まあ書く。 app.yaml この例ではすべてのリクエストをmain.pyで受ける。 application: nullpobug-sandbox version: 1 runtime: python api_version: 1 handlers: - url: .* script: main.py main.py WSGIアプリケーションの形にしてます。PATH_INFOの値で実行するアプリケーションを切り替えてます。 # coding: utf-8 import sys from google.appengine.ext.webapp import util def load_app(name): """ モジュールからアプリケーション関数をロードする
Google App Engine で DataStore を Python 対話シェルから参照する - てっく煮ブログ
いまさらながらに Google App Engine をちょろちょろと触っている。DataStore を対話シェルから使えると便利そうなので、やり方を確立してみた。結論としては次のコードを対話シェル上で実行すれば使えるようになった。(Google App Engine SDK for Python Windows 版 1.4.0 にて確認) import os import sys import tempfile DIR_PATH = r"C:\Program Files\Google\google_appengine" APP_ID = "helloworld" sys.path += [ DIR_PATH, os.path.join(DIR_PATH, 'lib', 'antlr3'), os.path.join(DIR_PATH, 'lib', 'django'), os.path.
Google AppEngineの雑テクニックを7個（Python歴2ヶ月目）: uessay
Google AppEngineで変な物を作っている。Gitで変更点にコメントを残しながら書いているが、機能に関係しない類のノウハウは埋もれがちだ。そんなわけで、ちょこまかとしたものを、こちらに転記する。 タイトルのとおり、Python歴2ヶ月なので、あまり期待しないように。 1.小さいアプリなら、テンプレートは１つで十分 Google AppEngineではwebappを使って、PHPにおけるSmartyのようなレンダリングをすることができる。http://code.google.com/intl/ja/appengine/docs/python/gettingstarted/templates.html 最初のうちは、メイン画面用のテンプレートと、編集画面用のテンプレートを分けて作ってたが、共通する箇所の変更を全体に反映させるのが面倒なので、テンプレートはひとつにまとめ、使いたい時に使
AppEngineとbpmappersでJSON形式のデータを返すAPIを作る - 偏った言語信者の垂れ流し
アドベントカレンダーにコッソリ登録したつもりだったのに、 id:kuenishi から翌日に指名されてしまった @tokibito です。 今日はAppEngineで書きます。最近仕事でも少し触ってます。 他の人みたいにボリュームたっぷりの記事は書けないので軽めに。 モデルから辞書にデータをマッピングするのに便利なbpmappersを、AppEngineのwebappフレームワークで使う例を書きます。 SDKのバージョンは1.4.0です。 bpmappers 0.8.2 : Python Package Index bpmappersを使えるようにする Google App Engine Launcher で新規アプリケーションを作成します。 bpmappersのtarballをダウンロード、展開して中のbpmappersディレクトリをアプリケーションのディレクトリにコピーします。 コード
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google App EngineでFlaskでjinja2を使ったときのメモ
Google App Engine 入門
https://www.freia.jp/taka/blog/745