BPStudy #40 - Google Appengine 1.4.0Key Value Storage Systems ... and Beyond ... with PythonIan Lewis
Google App Engineで動くBlogツールcoreblog3のアルファをリリース | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 みんなのブロックチェーンは，ブロックチェーンの入門書。暗号やハッシュなどを含め，基礎からブロックチェーンの仕組みを学べる書籍です。 いろんな方に「新しい技術を学ぶことの楽しさ」を感じ取ってくれたら著者として嬉しいです:-)。お金は技術的にどのように定義されるのか。 みんなのIoTは，モノのインターネットと呼ばれるIoTの入門書です。IoTの基本について，読者に寄り添って優しく解説しました。裏テーマは一番とっつきやすいPython入門書。サポートページはこちら みんなのPython 第四版は，より分かりやすい入門書を目指し，機械学習やデータサイエンスの章も追加して第三版を大幅に書き換えました。Python 3.6にも華
GAE/Python で HTTPリクエストを並列化 « Stop Making Sense
August 2011 (1) July 2011 (1) June 2011 (2) April 2011 (2) March 2011 (2) February 2011 (2) January 2011 (6) December 2010 (6) November 2010 (5) October 2010 (8) September 2010 (2) August 2010 (3) July 2010 (9) June 2010 (4) March 2010 (1) February 2010 (7) January 2010 (2) はじめに GAE/Python ではスレッドや子プロセス等による並列化が出来ないので、タスクキューを使うのが一般的です。 しかし、URLフェッチについては、非同期リクエストを利用することで、タスクキューを使わずに複数のHTTP通信を同時実行出来ます。
GoogleAppEngine Pythonでフルテキストサーチ TriGram - When it’s ready.
1日で作ったのでエラーありまくりですが、一通り動いているのでURL公開 http://a2c-fts.appspot.com ngram(TriGram)でプチプチ切って、エントリーのKeyNameを転置IndexのListにAppendしてます。 元ネタは、search.twitter.comから httpが含まれる日本語の検索結果を10分置きにJSONで取りに行ってます。 さすがに、15ツイート分をNgramでぶつ切りにしたものは（1000個以上あるので）、30秒以内に保存出来ないので TaskQueueで徐々にいれていますが、秒間5個までしか動かないので、10分以内でも保存出来てなかったりします。 Ver.1は、フルGAEでやろうとしていたのですが、さすがにTaskQueueが溢れそうになったので現在のバージョン２では redisを使って、転置インデックスを保存しています。 redi
GAE/Python でフルテキストサーチ実装した。 redisを使ったインチキバージョン - When it’s ready.
GAEにどんどん機能が追加されていく中、なかなか実装されないのが全文検索。品詞がとれるセグメンターだけでも提供してくれたら全然便利だと思うんだけどそんなアナウンスはまだ有りません。 なきゃ作ればいいじゃんという事で、全文検索もどきを実装してみました。ひとつ前のエントリー通りTriGramです。 以前、恵比寿のイケメン イアンさんと一緒に作ったmisopotetoというモジュールをベースにしています。 今回のポイントは、転置インデックスをredisサーバに送っているところ、GAE（とうかDB全般）は、インサートがめちゃくちゃ遅いので、Ngramでgram毎にエントリーIDをappendしていくというのは辛いです。Twitterの検索結果15個ｘ100文字位をTriGramでインデックスを作ろうとすると、1500個くらいをgetしてappendして、putする必要があります。以前は、TaskQ
TwitterBot on GAEのTwitterからのデータ取得をXMLからJSONにする - 星屑日記
http://d.hatena.ne.jp/intheflight/20090613/p1 リンク先の更新でTwitterから取得したデータをXMLパーサでパースして、データストアに格納するということをやっているわけだけど、こんな面倒なことしなくても、おれらにはJSONがあった！ JSON使えばTwitterデータをパパッとデータストアに格納できることがわかったので、XMLをJSONに書き直しました。今回はその流れです。まずは、データモデルですが、それはそのまま流用できます。Twitterからのデータ取得にはJSONを指定します。 url = "http://twitter.com/statuses/mentions.json"あとは取得したJSONデータをPythonの辞書に変換し、そこから必要なデータをデータストアに格納するという流れになります。めっちゃ簡単。変換処理にはsimplej
GAE(Google App Engine)でpython-twitterを使ってタイムライン取得 : kishi-r.com
そういえばあまり「GAE（Google App Engine）」を触っていなかったので、久々にやってみた。 # というよりも、アプリなんか作ったことないんだけどねｗ とりあえず、Twitterのタイムラインでも取得するか！って事で、以前使った「python-twitter」でやってみる。 なんか調べると多少ファイルが必要になったり、 一部変更が必要なみたいなので、メモメモ。 python-twitterのファイルをダウンロードし設置 まずはファイルが必要みたいなので、GoogleCodeにある「python-twitter」からファイルをダウンロードしてきた。そこに入っている、 twitter.py（ファイル） simplejson（ディレクトリ） が必要となるようだ。 なのでまずはこいつをGAEのアプリのドキュメントルートへ設置する。 ./ ../ app.yaml index.yaml
GoogleAppEngine-pythonを利用して簡単なtwitterbotを作成する - ドナドナごとごと
pythonGAEtwitter 基本的にGAEがある程度分かっている人向けに書きます。はい。 GAEのサイトからSDKをとってきて開発環境はできているのを前提に書きます。 とりあえずファイルを置くフォルダを作成しましょう。 twitterbotというフォルダを作ります。場所はどこでもいいですが今回はSDKを落としてきたときに作成したgoogle_appengineフォルダ直下に作成しました。 作成するファイルは twitter.py postmodel.py app.yaml cron.yaml です。 OAuth認証をしないとかっこ悪いのでtweepyというライブラリを使用します。easy_installが入っているなら easy_install tweepy で簡単にインストールできます。 下記のkeyとsecretはhttp://twitter.com/oauthを設定して、取得し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.