Takuya UedaSouzoh, Inc. (affiliated by Mercari, Inc.) - Go Engineer
メルカリアッテの実務で使えた、GAE/Goの開発を効率的にする方法
Takuya UedaSouzoh, Inc. (affiliated by Mercari, Inc.) - Go Engineer
#appengine MapReduceで毎秒2000件×8日間＝15億件を処理！ - スティルハウスの書庫の書庫
まだMapper APIのみの提供でReducer APIがないappengine-mapreduceライブラリについては、10万件のデータを対象としたテストでは1000件／秒程度で処理できたよというレビューをお届けしました。しかしApp Engineの中の人であるBrettさんは15億件のデータを対象としてmapper APIを試したところ、毎秒2000件以上のスループットを達成したそうです。以下におもな点を要約します： Brett Slatkin - One Big Fluke - Biggest Map() of my own. I recently ran the biggest Map() job of my life on my own data using the new App Engine Mapper framework: 1.5 Billion rows. The d
GAEでOAuthというかTwitter認証してみた。
あまりオタクにもなれませんでした。 アイデアや書評、プログラミング、投資情報などバラけていますが、 カテゴリは分けているので、興味があるものだけでもご覧ください。 結構てこずりましたが、Google App Engine for Pythonで OAuth認証というかTwitter認証をしてみました。 Softbankの夏モデル携帯でTwitterが機能の一つとして入っているものが発表され、 これからTwitterの人口はどんどん増えるはずなので、 OpenIDみたいな統合認証のようにOAuthを使えたらなぁという思いでコーディングしてみました。 元ネタはサンプルコードで分かるGAE＆Twitter API開発。 その節はお世話になりました。 oauth.py, simple_cookie.pyなどは上記のリンク先から取得してください。 verify後にリロードするとバグっていたので、se
FlaskならApp EngineのTwitter Botが15行で書ける — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 関連 : microneを使ったらApp EngineのTwitter botが14行で書けた Flaskというフレームワークを使って，Google App EngineでTwitterのBotを作ってみたら15行で書けてしまった(あと5行短くなるけど，PEP 8というPythonのスタイルガイドを破ることになるのでそこまで短くしない)。 まずはコードを見てもらいましょう。 #coding: utf-8 from random import choice from twython import core from flask import Flask app = Flask(__nam
Google App Engine入門：実践編
今週に入って、Tiny Message に続く二つ目の Google App Engine ベースのサービスをリリースした。３日ぐらいで試験的に作った Tiny Message とは異なり、今回のものは、丸二ヶ月間寝る間も惜しんで作った力作である。 米国向けのサービスな上に招待制のSNSなので、ここではサービスそのものは公開しないが、いくつかこだわって作った部分があるので、それについて語ってみようかと思う。 1. 対象となるユーザーの絞り込み FacebookやTwitterのような巨人が存在している中で、それにまっこうから対抗するようなソシアル・ネットワーク・サービスを作ったところで無謀なだけである。そこで、逆に対象にするユーザー層を究極にまで絞り込んで、彼らのライススタイルに徹底的にマッチしたサービスを作ることにより差別化をはかる、という戦略を選択。対象は「LAに住む２０〜３０代の社交
Google App Engine/Python で単体テスト - present
Google App Engine SDK for Python には、単体テスト用に各サービスのスタブが提供されています。このスタブと unittest を使えば、ローカル環境で GAE 用アプリの単体テストが可能です。 GAE/Python で unittest を使って、単体テストを行うサンプルは次の通り。 #!/usr/bin/env python #encoding: utf-8 import os import sys # 環境設定 # これをしないと GAE のモジュールをインポートできない。 # テスト対象のクラスも同様。 # ここを自分の環境に合わせて書き変えます GAE_HOME = 'Google App Engine SDK ディレクトリのパス' PROJECT_HOME = 'アプリケーションのルートディレクトリのパス' # テストで使う GAE のモジュールのパ
Google App Engine上のベスト・プラクティス、その１: Datastore
Google App Engine上でアプリを作りはじめて約二ヶ月。いろいろと分かって来たこともあるので、自分へのメモも含めてまとめてみる。まずは、Datastoreの話から。 なによりも大切なのはデータベースの設計 あたりまえと言えばあたりまえの話だが、App Engine上でアプリを作る上でもっとも大切なこと（＝頭を使うべきところ）は、データベースの設計である。特にリレーショナル・データベース（RDB）上でのアプリ作りに慣れた人には、大きな「発想の転換」が必要なので、ここは注意が必要。 特に絶対にやっては行けないのは、 将来RDB上へ移行できるようにレイヤーを作って、その上にアプリを作る RDB上に作ったアプリをデータモデルを大幅に変更せずにApp Engine上に移植する RDBを前提に設計されたフレームワークをApp Engine上に載せて、その上にアプリを作る など。App En
Google App Engineでよくある質問 - あおうさ＠日記
質問形式でとりあえずApp Engineの情報を整理しようと思います。 サーバの管理コンソールで表示するとログの時刻表示がおかしい？ タイムゾーンがPSTで表示されます。ローカルの時刻にするgreasemonkeyなどがあります。 firefox http://userscripts.org/scripts/show/47857 chrome https://chrome.google.com/extensions/detail/jmgkgfinhcmnheebklldfggdpgkihiha 開発時にローカルで登録したDatastoreのデータはどのようにすれば確認できますか？ http://localhost:8888/_ah/adminからDatastore Viewerにアクセスすればデータ内容の確認ができます。（いま[SDK1.3]は残念なことに編集はできません。) また、/_a
Google App Engineで独自ドメインを使う
Google App Engine（GAE）で独自ドメインを使う方法です。 GAEに設置したアプリケーションはデフォルトでは、[アプリケーションID + .appspot.com]というドメインでアクセスすることができます。 また、これとは別に独自ドメインをアプリケーションに割り当てることもできます。 独自ドメインを割り当てる方法は知っていないと嵌りやすいので手順を書いておきます。 仕組みと手順 まずは仕組みから。 GAEでの独自ドメイン割り当ては、独自ドメインのCNAMEでGAEサーバを指すことで実現します。よって独自ドメインのDNSが設定できる必要があります。 私はドメイン管理にムームードメインを使っているのですが、ムームードメインではコントロールパネル（Web管理画面）にてDNSの設定ができます。 次に手順。 前提として独自ドメインは既に取得済みとします。 Google Appsを申
Google App Engine入門：Entity Groupとトランザクション処理
今週に入ってから、ようやく少し本気でGoogle App Engineでプログラムを書き始めている私だが、ようやく Entity Group の使い方が分かって来たので簡単に解説してみる。 Entity Groupとは、一口で言えば「トランザクションを使ったアトミックな読み書きの対象となるEntity（＝データベース上のオブジェクト）の集まり」である。 イメージとしては、まず「一つのハノイの塔を三人で同時に遊んでいる姿」を思い浮かべると分かりやすいかも知れない。全くのルールなしで皆で同時に遊ぼうとすると、腕が交錯してぐちゃぐちゃになってしまう。 そこで、「ある時点でハノイの塔ボード（三つの棒を支えている水平に置かれた板）に触ることが出来る人は常に一人。一度ボードに触った人はすべての円盤をいずれかの棒の位置に置いた状態にしてからしか手を離してはいけない。もし自分がハノイの塔に触りたい時に、す
Google App EngineでCPU Timeを使い切った
Google App Engine(GAE)でCPU Timeを使い切りました。 GAEは従量制のサービスで、あらかじめ設定した金額内で利用できるリソースが決まっています。これはQuotaと呼ばれていて、CPU、ネットワーク流量、保存データ、API呼び出し回数等々で制限があります。 よく言われる「GAE=無料」というのは、無料（課金しない）なら、そのQuotaが適用されるということです。 GAE+Pythonでとあるサイトの動作確認をやっていたところ、無料分のCPU Timeを使い切りました。 実際に使い切るとこんな感じになります。 サイト ブラウザでアクセスすると、どのページを見ても503が返ってきて、Googleのエラー画面が表示されます。 HTTPレスポンスヘッダは以下。 HTTP/1.x 503 Service Unavailable Date: Sat, 16 Jan 2010
GAEで僕にも彼女が出来たよー（XMPP/Mail編） - y-kawazの日記
ちょうどAppEngineでXMPPやメール受信を試していて何に使えるかな？とネタを探していたところ、彼女を作ってる人が居たので僕も彼女を作ってみました。 僕の彼女はこんなのです。 XMPPで話しかけるとズレた返信を返してくれる。 メールにも答えてくれる。 彼女の詳細は以降で説明します。 XMPP彼女 現時点でAppEngineの日本語ドキュメントにはXMPPの記述が無いのですが、英語に切り替えるとServiceメニューの下にXMPPが登場します。使い方は結構簡単で以下のポイントを押さえればすぐに使えました。 まずXMPPメッセージの受信を行うには app.yaml に以下のような設定を追加してやります。これにより /_ah/xmpp/message/chat/ でXMPP受信用のハンドラを割り当てできるようになります。 inbound_services: - xmpp_message 後
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
高田純次BOTと森田一義BOTが僕のノートPCから巣立ちました - とりあえずなんですけどね
BOTつくろう会参加 いつのまにか師走に突入、突進、激突、破壊、炎上の季節になってきましたがみなさんいかがお過ごしで。 かれこれ2週間ほど前に、BOTつくろう会の勉強会が開催されました。この勉強会は「Google App Engine×pythonでBOTつくろうぜ！」というコンセプトなのですが、「え？python？パイソンっておいしいんですか？」状態の僕は持ち前の空気読まない力を存分に発揮し、何も事前勉強せずに参加してみたら、みんなすっごい優しいのな……！右も左もわからない僕に対して懇切丁寧に教えてくださって涙が出ました。*1ああいう優しさに触れて、生きてることのありがたみを今さらながら実感したんですけど、その話は置いておいて、例のBOTの話をします。はい。 俺の家にあるBOTをなんとかしたいんや・・・ ぼくが2年ほど前に思いつきで作った高田純次BOTと森田一義BOTが奇跡的なフォロワー
Google App Engine入門：実行効率を犠牲にせずに開発効率だけを上げるテクニック
一つ前の富豪プログラミングのエントリーともつながる話だが、Google App Engineは「ちゃんとスケーラビリティを考慮してアプリケーションを作るには何に気をつけなければならないか」を勉強するには絶好の環境だ。そこで今回は、その「ケチな大富豪的なプログラミング」の実践編。 Google App Engine上のアプリをいくつか書いているうちに、必要に迫られて自然発生的にできてきたのが、gdispatchという数十行のコードからなる小さなモジュール（ソースコードはgithubに置いてある）。これをGoogle App Engineに標準で付いて来るwebappと組み合わせてフレームワークとして使っている。 gdispatchを設計する上で重視したのは、 （１）Google App Engine上でのアプリの開発を効率化する上で「明らかにこれがあると開発効率が格段に向上する」というもの以
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
appengine-cl - App Engline Code Lab - Google Project Hosting
googleに課金されるきしださん。