BeautifulSoupでスクレイピングのまとめ – taichino.com
何度かBeautifulSoupについては書いているのですが、未だに使い方が覚えられずにイライラします。仕方が無いのでまとめて置く事にしました。BeautifulSoupはHTMLから情報を取得するだけ無く、HTMLの編集もできますが、ここではスクレイピング用途のみに絞っています。 使用するのは以下のHTMLです。 このHTMLを使って色々と情報を取得したのが以下です。覚えるべきはfindAllだけです。注意する必要があるのは、textを指定した場合にタグオブジェクトが取れずに、テキストオブジェクトが取れるので、一旦parentで親のタグ取りましょうという事と、正規表現で条件指定する場合は、re.compileで正規表現オブジェクトを渡すという事位ですか。 #!/usr/bin/python # -*- coding: utf-8 -*- import re import urllib f
PythonでAmazon Product Advertising APIを使う - 人工知能に関する断創録
以前、Amazon Web Serviceで書籍情報を取得する（2008/12/20）というエントリを書きましたが、2009年8月15日から新しく認証が導入されてそのままでは使えなくなっていることに気がつきました。サービス名もProduct Advertising APIに変更されたそうです。AmazonのWebサービスはときどき使いたくなるのでPythonから使う方法を改めて調べてみました。以下のサイトを参考にさせていただきました。 Product Advertising API アマゾンAPIを使うのに2009年8月15日から認証が必要になるらしい AmazonアソシエイトWebサービス改めProduct Advertising APIの電子署名について調べてみました Python + Amazon = Pyzon amazon.py まず、Pyzonを参考にアイテムID（ASIN、I
ヲドリテヒヅル Pythonでエラーコードの詳細を取得する
最近何かと忙しいです・・・全然遊ぶ暇がなす。 さて、MayaでPythonを実行してエラーが起こると、だいたいエラーの箇所がわからないです。 作ったモジュールをインポートした時にSyntax Errorとかでたら、何処を探せばいいのやらで、虱潰しになってしまうことが多々あります。 エラーが起きたときのために、try/except仕込んでおいてエラーをプリントしようとしても、行数やモジュールの場所がわからなかったりと色々困ります。 そんなPython人を救ってくれるのが、tracebackモジュールとsysモジュールの模様。 import sys, traceback try: # エラーとなる行 text == 'Miss' except: # エラーの情報をsysモジュールから取得 info = sys.exc_info() # tracebackモジュールのformat_tbメソッドで
Beautiful Soup documentation
Beautiful Soup Documentation by Leonard Richardson (leonardr@segfault.org) 这份文档也有中文版了 (This document is also available in Chinese translation) Этот документ также доступен в русском переводе. [Внешняя ссылка] (This document is also available in Russian translation. [External link]) Beautiful Soup 3 has been replaced by Beautiful Soup 4. You may be looking for the Beautiful Soup 4 documentation Bea
pipの使い方 - そこはかとなく書くよ。
注意 この内容はすでに古くなっています。 pipの使い方 (2014/1バージョン) を参照してください。 pipとは、Pythonにおけるパッケージ管理システムです。easy_installというツールもあるのですが、pipはこのeasy_installを置き換えるものとして開発されています。rubyのgem、perlのcpan的な位置づけです。 同じパッケージ管理ツールとしてsetuptools置き換えのdistributeというものもあるのですが、こちらはsetuptools全体を置き換えるものとして開発されており、pipはsetuptoolsの一部であるeasy_installを置き換える形です。 なお、現在のpipのバージョンは0.8.2で、このエントリはこのバージョンを使っています。 なにかおかしい点があれば、ご指摘ください。 > 識者の方々 pipのinstall まずはea
ウノウラボ Unoh Labs: 2009年版Python開発環境を整えよう
なでしこの作者じゃない方のsakatokuです。 以前書いた「Python開発環境を整えよう」という記事からだいぶ時間が経ってしまったので、内容を更新したいなぁと思っていたのですが、ようやくその機会が来ました。 virtualenvで開発環境をつくる 開発環境をつくるにあたって次のような問題が生じると思います。 root権限がないためにインストールしたいライブラリが使えない 新しいライブラリをインストールしたり、既存のライブラリをアップグレードすることで、既に動いているアプリケーションを壊したくない 複数のバージョンのPythonを使って開発、テストを行いたい 自作したPythonパッケージのインストールのテストを行いたい 以前の記事ではvirtual-pythonという解決策を紹介しましたが、現在ではvirtualenvというツールが広く使われるようになってきています。 virtuale
macで蛇使い入門記：Pythonのバージョンとインストール - 都元ダイスケ IT-PRESS
この記事（多分シリーズ）の前提 OSはMacOSX 10.6 Snow Leopard macportsの環境整備済みであること。 多分文法の話はしない。 多分Java使い向けに話す。っていうか俺向けに話すｗ Pythonのバージョン Pythonの最新バージョンは3.x系。2系から3系になるにあたって、多少互換性を失っているぽい。 だが、2.x系が未だ主流。Google App EngineではPython2.5を採用、その他ではPython2.6を採用するイメージっぽい。 まぁ、これから時代は3系になっていくのだろうけど、まだ色々環境を整備しづらかったり、トラブルも多いのかも。ということで、Python2.6環境を中心に、場合によってはPython2.5を使えるように、まぁ気が向いたらPython3系も使えるように、という感じの環境を作ってみたい。 Snow LeopardにおけるPy
tech note: python_select から python_select が無くなった
Sunday, May 15, 2011 python_select から python_select が無くなった port sync, port outdated したら python関係のものがもりもり新しくなってたので port upgrade outdated して python_select が 0.3_1 になりました。 % port installed python_select The following ports are currently installed: python_select @0.3_1 (active) これまでパッケージ名と同じ python_select コマンドで切り替えられていたのだけど、 python_select コマンドが無くなった模様。 % port contents python_select Port python_select
CentOS5.2 + nginx0.6.x + WSGI + Python2.5.x環境の構築方法 | fujishinko 雑記帳
Debianでnginx+wsgiの環境構築は行ったのですが、 今回DB2をインストールした環境にwebサーバも 相乗りしたかったので、CentOS上にnginxを インストールしてみます。 nginxの最新版は http://sysoev.ru/nginx/download.html Текущие версии: (現在のバージョン) Стабильные версии: (安定バージョン) Устаревшие стабильные версии: (旧版のリリース) ※初めてGoogleのロシア語の翻訳を使いました。 ということで、安定バージョンの0.6.34を使用することにします。 また、後日記載しますがわけあってPython2.5.xで 環境を構築する必用があります。 CentOS5.2に標準インストールされているPythonは2.4系 なので、ソースをダウンロードしコンパイル
ウノウラボ Unoh Labs: Python開発環境を整えよう
こんにちは！4月から入社したYet Another Sakatoku、酒徳千尋です。今まで同じクラス、同じ職場に別の「酒徳さん」がいるのを経験したことがないので不思議な気分です。 ウノウでは新規サービスの開発を担当することになったのですが、言語やフレームワークの選択は開発者に任されているということなので、PythonとDjangoの組み合わせで開発を始めることにしました。 PythonでのWeb開発は、日本ではまだメジャーではないと思うので、このウノウラボでtipsや、ライブラリ・フレームワークの使い方を紹介できればと思います。 今回は、僕が入社してから最初に行ったPython開発環境のセットアップについて書いてみたいと思います。 virtual-pythonで開発環境をつくる 開発にあたって様々なライブラリをインストールする必要が出てきますが、通常のPythonのホームディレクトリ、例え
mod_wsgiでDjangoを動かすまでを淡々と記録する - スコトプリゴニエフスク通信
kuma8さんが簡潔かつ的確なまとめを書いてくださっているが、とりあえず記録しておく。今回試した環境は、CentOS 5.2Python 2.6 Django 1.0.1-beta 必要なライブラリをインストールするServer版のCentOSを普通にインストールしたらApache2は入っているはずなので、この点は省略。今回はCentOS標準のPythonではなく、独自にインストールしたPythonを使うという前提で話を進めるので、python-develは必要ではない。 $ sudo yum install apr-devel apr-util-devel mod_wsgiをビルドするmod_wsgiの最新版2.3をダウンロードしてビルドする。使用するPythonのパスは、/usr/local/bin/python-2.6であるとする。 $ http://modwsgi.googleco
[C++][Python]PythonからSWIG経由でVisual Studio 2005を使って困ったこと
Python-2.5.2SWIG-1.34.1Visual Studio 2005 Express Editioncygwin以上のような組み合わせで出くわした困ったことと、その解決策をメモしておきます。 setup.py を実行するとエラーが表示された！Python was built with Visual Studio 2003; extensions must be built with a compiler than can generate compatible binaries. Visual Studio 2003 was not found on this system. If you have Cygwin installed, you can try compiling with MingW32, by passing "-c mingw32" to setup.py
![[C++][Python]PythonからSWIG経由でVisual Studio 2005を使って困ったこと](https://cdn-ak-scissors.b.st-hatena.com/image/square/b1638cdb5807a4788e4ba3c1109a984166e095fc/height=288;version=1;width=512/https%3A%2F%2Fanond.hatelabo.jp%2Fimages%2Fog-image-1500.gif)
Web アプリに Wiki 記法を簡単に導入できる Python の textile モジュール - present
Wiki 記法が好きです。Wiki 記法に似た、はてな記法も好きです。ドキュメントは出来れば Wiki に書きたいと常々思っています。実際、私がドキュメントを書くときはたいてい Wiki です。 Word は苦手です。出来上がるものは HTML で書いた方がマシだと思えるくらいです。Word を使いこなせていない、というのは自分でも分かっています。でも、ドキュメントも慣れたテキストエディタで書きたいんです。 そんな欲求は Web アプリの UI にも反映されます。テキストの入力には Wiki 記法を採用したい。 Python には、Wiki 記法を HTML に変換する textile モジュールがあります。Textile は GitHub や Redmine で採用されている Wiki 記法の一種。 textile 2.1.5 : Python Package Index 例えば # -
Google App Engine で RSS を生成する方法 - present
Google App Engine 用のアプリケーションで RSS を生成したいなら、Django に入っている feedgenerator を使えばいい。feedgenerator は Django に入っているユーティリティモジュール。Google App Engine SDK for Python には最初から Django が入っているので、これを使わない手は無いよね。 from django.utils import feedgenerator # フィード作成 feed = feedgenerator.Rss201rev2Feed( title = "RSSのタイトル", link = "RSSのURL", description = "RSSの説明", language = u"ja") # フィードにエントリを追加 feed.add_item( title = "記事タイト
ウノウラボ Unoh Labs: Pythonで携帯の機種判別をする
こんにちは、chihiroです。今回はPythonでモバイルサイトを開発する場合に便利なライブラリ、WSGIUserAgentMobileを紹介します。これはUserAgentからキャリアや端末情報を取得するためのライブラリです。 Google Code WSGIUserAgentMobile http://code.google.com/p/wsgiuseragentmobile/ これは基本的にはPHPのPEAR::Net_UserAgent_Mobile、さらに元を辿ればPerlのHTTP-MobileAgentを、僕がPythonに移植したものですが、いくつか独自のメソッドやプロパティを追加しています。インストールから、基本的な使い方、Djangoで使用する場合の例をご紹介します。 インストール 諸般の事情によりまだPython Package Indexに登録していないので、開
BlogSlime – Just another WordPress site
コンテンツへスキップ 登録は無効化されました。
PythonのUnicodeEncodeErrorを知る - HDEラボ
Pythonにはじめて触って、いつのまにか1年が過ぎたのですが、一番はまったのは、やっぱりunicodeの扱いだったと思います。 特に、 UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-12: ordinal not in range(128) のようなエラーにはさんざん悩まされました。ここがたとえばrubyなど他の言語と比べてわかりにくいために、Pythonが取っつきにくい言語になっているのではないか、と個人的には思います。 そこで、このエラーに関係するはまりどころとTipsをいくつか列挙してみました。これからPythonに触れられる方の参考になればと思います。 なお、環境はUNIX上のPython 2.4, 2.5を想定しています。 u1はunicode型で、s1はstr型です。s1にどのよ
逆引きPython/正規表現 - 鯨飲馬食 @ wiki
match()やsearch()、split()、sub()などは下のように正規表現オブジェクトをコンパイルする方法とそのまま用いる方法があります。 >>> import re >>> re.compile("a").match("abcdef") <_sre.SRE_Match object at 0xb7c05720> >>> re.match("a","abcdef") <_sre.SRE_Match object at 0xb7c05758>
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.yuku-t.com/entry/20100508/1273259928
With-No-Parachute D-side