TRIVIAL TECHNOLOGIES on CLOUD | ブログをGoogle App Engineベースに移行
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー これまでPloneで運用してきたこのブログをGoogle App Engineベースに移行しました。 旧サイトのコンテンツが一部移行が終わっていないですが(みんなのPythonサポートページとか)，数日中に移行します。少々お待ち下さい。 ブログエンジンは3階層の構成になっていて， App Engine用のフルスタックのフレームワーク railsライクなrouting クラスを使ったコントローラ モデル用のCRUDフォーム，管理画面を簡易に作成するためのベースコントローラ デコレータを使ったフォームコントローラ ウィジェット i18n makoテンプレート プラガブルな認証 モデル用ユー
Ogawa::Buzz: iPhoneのパケット料金を取得するためのPythonコード
2010/08/19 iPhoneのパケット料金を取得するためのPythonコード iPhoneのパケット料金をMy SoftBankからスクレイピングしてくるPythonコードを書いた。 #!/usr/bin/env python # -*- coding: utf-8 -*- import yaml import mechanize import re # setup print 'setup...' conf = yaml.load(open('config.yaml')) br = mechanize.Browser() br.set_handle_refresh(True) br.addheaders = [('User-agent', 'Mozilla/5.0 (iPhone; U; CPU iPhone OS 2_0 like Mac OS X; ja-jp) AppleWe
elementtree.ElementTree
from google.appengine.api import urlfetch from elementtree.ElementTree import * url="http://api.flickr.com/services/rest/" url += "?method=flickr.photos.search&text=test" url += "&api_key=XXX" url += "&per_page=3" result = urlfetch.fetch(url) #print result.content tree = ElementTree(fromstring(result.content)) for item in tree.findall('.//photos'): print item[0].get('id') print item[0].get('title'
feedparserで、media コンテンツを取る
feedparserで、どうやってビデオを取れるかをずっと悩みましたけど、今日少しだけ、進展した。問題の核心はyoutubeや、vimeoは Yahoo! RSS モジュールを使って、RSS拡張ネームスペースにデータを入れている。この拡張データの処理はfeedparserが 中途半端でやってる。見てみよう。 YoutubeのGDATA APIで取ったデータはこうなる <entry> <id>http://gdata.youtube.com/feeds/api/videos/R3orQKBxiEg</id> <published>2008-07-17T23:58:51.000Z</published> <updated>2008-11-24T02:32:25.000Z</updated> ... <title type="text">Official Watchmen Trailer</ti
lxmlでHTMLページタイトル取得 - Pyro Memo
一応動くサンプル。あんまりテストしてないので、取得できないパターンはあるかも。 覚えておきたいのはxpathの設定方法で、どうやら //head/title/text() と書くとたまにうまくタイトルが取得できない場合があるようで、そんな場合でも //title/text() という風に直接タグを呼び出したら取得できた。 import re import urllib2 from lxml import etree def get_title_from_url(url, lxml_tree=None): if lxml_tree is None: lxml_tree = get_parsetree_from_url(url) if lxml_tree is None: return None title = None title_block = lxml_tree.xpath("//ti
PythonでElementTreeを使ってXMLを処理する方法 - hikm's blog
ElementTreeはpythonでXMLを扱うためのライブラリです。バージョン2.5からはpythonに標準で内蔵されています。 このライブラリを使うと、XMLをパースしてプログラム内で利用しやすい形に変換したり、XMLファイルを生成したりすることが出来ます。そこで今回は、XMLをパースして利用する方法についてまとめたいと思います。 準備 Python2.5以降にはElementTreeが標準で内蔵されているため、パッケージを個別で入手する必要はありません。 以下のようにインポートするだけで利用できます。 from xml.etree.ElementTree import * Python2.5より古いバージョンを利用している場合は、 http://effbot.org/zone/element-index.htm からパッケージを入手し、以下のようにインポートして下さい。 from
Pythonと日本語表示と文字コード、unicode 、str 、utf-8 、shift-jis 、、、 - Cassiopeiaの日記
Pythonは使いやすい覚えやすい気持ちいいとまで言う人もいる。たしかにその通りだと思った。しかし、日本語を使おうとした時に急に気持ち良くなくなる。そう感じたのは僕だけではないはずだ。 ということで今日の日記のネタはPythonと日本語となりました。 (WindowsXPにココから "Python 2.5.1 Windows installer" をインストールした環境でテストしています。) まずは、あなたが書いたコードはutf-8で保存する。そして、そのコードの先頭には以下を記入する。 # -*- coding: utf-8 -*- あなたはエディタに何を使っていますか？ 秀丸、メモ帳、vim、meadow、或いは Python Scripter、eclipse ？ いずれにしてもファイルを保存する時のエンコードはutf-8にすべし。 では早速気持ちよくない(表示が文字化けする！)例。
モダンなPythonの開発環境の構築方法 — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー インストール Windows以外の多くのプラットフォームではすでにPythonが入っている。バージョンを調べて，使いたいバージョンより古いならインストーラやパッケージを使ってインストール。パッケージは「〜devel」をインストールしておく。 easy_installのインストール easy_installは標準ライブラリに含まれていないサードパーティモジュールをインストールする時に便利なので，入れとく。 ここからez_setup.pyをダウンロード，Pythonのスクリプトとして実行すると，自動的にコマンドがインストールされる。 $ easy_install pachage_name
Googleで何位なのか調べてくれるPythonのスクリプト - めも帖
「Yahoo!で指定キーワードで、特定のドメインが検索順位が何位なのか調べる - めも帖」にて、Yahoo!の検索結果について何位なのか、調べてくれるPythonのスクリプトを書きました。今回は、「Googleでの検索結果で、指定キーワード、特定のドメインが検索結果で何位なのか調べる」のをしてみました。 Yahoo!について用意していたので、今回は比較的楽に作れました。それにしても、未だにPythonの気持ちはわからないです。Pythonについて一通り本を読んだりした方がいいんでしょうね（時間効率から考えても）。 ソース MacOS X 10.6にてテスト #!/usr/bin/env python # -*- coding: utf-8 -*- from pprint import pprint from BeautifulSoup import BeautifulSoup,Naviga
Yahoo!で指定キーワードで、特定のドメインが検索順位が何位なのか調べる - めも帖
Pythonでスクレイピングしてみました。以前は、PHPでやっていたんですが、定期的に実施するんだったら、Google App Engineでやってみたらいいんじゃない？と思って、まずはPythonで書いてみました。 今回は、「Yahoo!検索での検索結果で、指定キーワード、特定のドメインが検索結果で何位なのか調べる」のをしてみました（googleとかは、また今度）。 BeautifulSoup 初めて使ってみたんですが、こう、使い方がイマイチわからない... どうしてだろう？Pythonのコードになれないから？ Yahooへアクセスでのユーザーエージェント ユーザーエージェントを指定しない場合と、指定する場合でかえってくる結果が異なります。iPhoneとかなら違うだろうなあ、とは思っていたんですが、ユーザーエージェントについては注意しどころかも opener = urllib2.buil
Panopticon :: Python :: BeautifulSoupを触ってみる
ちょっとHTMLをパースする必要があったので、BeautifulSoupを使ってみました。参考にさせていただいたサイトはこちら。 あかさかランチにっき: BeautifulSoupによるスクレイピングの練習 あかさかランチにっき: 続・BeautifulSoupのスクレイピングの練習 Perl使いのPythonちゃん: BeautifulSoupでHTML解析 Perl使いのPythonちゃん: PythonでGoogleの表示順位を取得 特定タグの抽出 >>> from BeautifulSoup import BeautifulSoup >>> import urllib2 >>> url = 'http://www.crummy.com/software/BeautifulSoup/documentation.html' >>> html = urllib2.urlopen(u
Pythonの定番モジュール集 — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー wiki.python.orgにはUsefulModules(Pythonの定番モジュール集)というリストがある。「開発者に有益な情報を提供するため」と注意書きがあるだけあって，これがなかなか網羅的で便利なので，翻訳しながらご紹介しましょう:-)。 リストを見ると，Web開発やテキスト処理はもちろん，数値解析，ビジュアライズ，ゲーム，GUIライブラリなどバリエーション豊かで，Pythonの全方位ぶりがよく見えてくる。他のカテゴリページへのポインタは，適宜リストをインラインに展開してあるものもあります。べたっと訳しちゃったので，間違いなどあるかも。コメントなどでご指摘いただけるとありがた
プログラミング練習ノート [Python] mixiボイスに投稿する
http://www.baru-san.net/に移りました。 やらなければならないことは分かったので、ひとまずPythonでmixiボイスに投稿するプログラムを組んでみました。コマンドラインからだと日本語入力がうまくいかなかったので、Tkinterを使ったごくごく簡単なGUIも実装しました。コードは最下部にまとめて載せます。 よくわからないままCookieなども使ってますが、とりあえずこれで動きました。 mixiClientクラスが本体、windowクラスがGUI生成機です。mixiCilentのpost, getメソッドはそれぞれPOST, GETを送信するもので、同様のはネットにたくさん出てます。 肝心のpost_keyの取得ですが、ElementTreeもBeautifulSoupもうまくいかなかったので、仕方なく文字列の処理で抽出しています。GETメソッドでボイスのHTMLを取得
Sign in - Google Accounts
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
google app engineでtwython - CGとCVの日記
google app engine でtwitterのbotを作成してみることにしました． 機能は試験の日程やら，レポートの期限を教えてくれる，というようにする予定です． さっそくちょっと作ってみましたが，twitterにメッセージをアップするコードはすごく短いです． import twython api=twython.setup("Basic",username="",password="") api.updateStatus("Hello world!!") 先人に感謝です． gaeではローカルでのテストが簡単なので，試してみたのですが， No module named _ctypes というエラーが出てしまいました． ctypesとはｃで書かれたライブラリが使えるpythonのライブラリなのですが，twythonから呼び出しているみたいでした． http://inside.asca
Google App Engineで動かすTwitter Botをつくってみた
先日（もう去年ですが）「BOTつくろう会＃5」の勉強会に参加させていただいた。＠tetsunosukeさんの初心者教室でPythonでのBot作成について教えていただいたので、そのままPythonでBot作りに挑戦してみた。 最初にどうゆうBotを作ろうかと考えた時、いつも勉強会の参加時にお世話になっているATNDの新着イベントをつぶやく＠atnderが頭に浮かんだ。ATND以外に「こくちーず」というサイトでもちょっとだけIT系の勉強会の告知／募集が行われている。では、＠atnderの「こくちーず」版を作ってみたらどうだろうか。というわけで、Botの大枠は決まった。 次に、Botの要件をつめていこう。ATNDはAPIが公開されていて、開催イベントについて色々な情報の取得が容易になっている。一方こくちーずの方は、新着情報のRSSがある程度。まずは「新着イベントをRSSから取得し、イベント名と
python-twitterではダメかもしれない - tetsunosukeのnotebook
先日書いた日記で使ってみたpython-twitterだが、どうも関数の数が足らなすぎるし、やっぱり検索の関数がないのが致命的だなあと思って、twythonをためしてみた。 Twitterの公式サイトにあるLibrariesのところに載っている、twythonというのがそれ。少し前は「tango」という名前らしく、まだその由来が残っている。 その由来がもとで、まだまだ問題が残っており、特にそれはサンプルに現れている。 import tango こんなの動くわけないよね！！ というわけで、まあこんな感じですぐつかえる訳です。 import twython api = twython.setup(authtype="Basic", username="username", password="password") api.updateStatus("日本語テスト") 検索の方もこんな具合 im
python入門チートシート - ナマアシタノム
内容 python初学者向けの頻出アイテムチートシートを作成してみました。 A4用紙に印刷してちょうどいいように必要事項をみっしりと敷き詰めています。pythonプログラミングのお供にどうぞ。 目次 if文 while文 for文 continue/break文 論理演算 算術演算 関数 リスト ディクショナリ map タプル モジュール クラス 例外 の基本的なことをできるだけたくさん盛り込みたかったので記述順番はぐちゃぐちゃしてしまった感じです。 記述ミスあったらごめんなさい。指摘あれば直します 最新版のDLは こちらからどうぞ(v1.1)。 (zip/約50kb/中身はpdf) 古いバージョン v1.1 コメントのid:t-tanakaさん指摘を修正 b:id:cu39さんのコメント「M+2VM+IPAG circleですね。」を見てフォントを「M+2VM+IPAG circle」に
Google App Engine + Pythonプログラミング環境としてPeggy - FutureInsight.info
Peggyというプログラミング用エディタをご存知でしょうか？ 岐阜＆山形セフレと出会い系の掲示板でママ活しよう 僕も@asheltwに教えてもらうまで知らなかったのですが、これがなかなかいいエディタです。 今までPythonのソースコードを書くときは、Eclipse + PyDevでやっていたのですが、これがいつまでたっても手になじみません。理由はいくつかあるのですが、ざっと上げてみると、 起動がそもそも遅い 変数の補完がかなり適当 シンタックスエラーの表示が明示的じゃない インクリメンタルサーチの仕方が未だにわからない など、まぁ、僕があまりEclipseの仕様が好きじゃないことが主な原因なのですが、最近Google App Engineで本格的にプログラミングを再開しており、このまま我慢してEclipseを使い続けるよりも自分の手になじむ開発環境を作ろうと思い、Pythonの開発環境を
Twitter Bot を Google App Engine に移した件
とにかく無価値なBotですが、そんな無価値なBotのためにRackspace Cloudのインスタンス代(約1円/時間)を払うのももったいないと言うことでGoogle App EngineへBotを移行させてみました。 もともとUbuntu Server上で動かしていたBotは Pythonで組まれたスクリプト 形態素解析に MeCab 定期実行はCron という構成でした。 Google App EngineはネイティブにPythonを動作させることの出来る希有なサービスですので移行は非常に単純でした。ほぼコピペ。 このほぼというのがミソで、一部追加しないといけないことがあるそうなので、素直に追加しておきましょう。 ちなみにキモの python-twitter は 0.6 を使用していますが、Api クラスにおいてファイルキャッシュを使っているために、素のままでは GAE で使えません。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
