pyqueryでHTMLからデータを抽出 - 唯物是真 @Scaled_Wurm
pyqueryはjQueryと同様にHTMLの操作ができるPython用のライブラリです。 PythonでHTMLからのデータ抽出といえばBeautiful Soupの名前をよく見かけますが、jQueryを知っている人にはこっちの方が使いやすいと思います。 内部的にはlxmlを使用しているので以下の記事などでlxmlの使い方にも軽く目を通しておいたほうがいいかもしれません。 Python(lxml)でhtmlを処理する まとめ - Gentleちゃれんじ Tips "pip install pyquery"などでインストールできると思います 動かすにはlxmlが必要になります。入ってない場合にはそちらもインストールが必要かもしれません。 Python 3でも動くらしいです 使い方の簡単な例 PyQueryクラスにHTMLの文字列やURLを与えれば、jQuery風のオブジェクトとして利用でき
PythonでWEBページをクローリングする時のTips - saito’s blog
PythonでWEBページをクローリングする時のTipsをまとめてみました。 urllib2.urlopenのデフォルトのユーザーエージェントを変更する PythonでURLを開くには、urllib2.urlopenします。 urllib2.urlopenは、デフォルトで"Python-urllib/(Pythonのバージョン)"というユーザーエージェントを使用しますが、Wikipediaなど一部のページではこのユーザーエージェントに対し403 Forbiddenを返してきます。以下のコードによってデフォルトのユーザーエージェントを変更すると、403エラーを回避することができます。 import urllib2 opener = urllib2.build_opener() opener.addheaders = [('User-agent', 'your user agent strin
Google Documents List Data API v3.0 を python から利用してみた。 (tonextone.com/type/)
今更ながら、地味に便利なんじゃないかと思って試してみたら... >>> from gdata.docs.service import DocsService >>> >>> client = DocsService() >>> >>> # ログイン >>> client.ClientLogin('FOO@gmail.com', 'xxxxxxx') >>> >>> from gdata.data import MediaSource >>> >>> # ドキュメントを作成 >>> test = MediaSource(file_path='./test.html', content_type='text/html') >>> >>> # アップロード >>> entry = client.Upload(test, 'UploadFromAPI') >>> print entry.GetAl
Django ドキュメント — Django v1.0 documentation
和訳について このドキュメントは、 Django の標準ドキュメント の和訳です。 現在、和訳は Yasushi Masuda によって進められており、 Takanao Endoh をはじめとする日本 Django ユーザ会の有志の手でメンテナンスされています。 和訳に関する問い合わせは、 Django プロジェクトのトラッカではなく 、 Yasushi Masuda (whosaysni-at-gmail.com) または django-ja メーリングリストにお寄せくだ さい。 助けを求める¶ 困り事ですか？手を貸しましょう！ よくある質問への答えは、 FAQ にあります。 特定のトピックについて情報を探しているなら、 Index や Module Index , 詳細目次 を見てくだ さい。 django-users メーリングリスト でアーカイブ を探したり、 質問をポスト してみ
Django テンプレート言語 — Django v1.0 documentation
このドキュメントについて このドキュメントでは、Django テンプレートシステムの文法について説明して います。技術的な観点からのテンプレートシステムの仕組みや拡張方法に関す る説明は、 Python プログラマのための Django テンプレート言語ガイド を参照してください。 Django のテンプレート言語は、釣合いの取れたパワーと簡便さを実現するように、 また HTML を扱いなれた人にとっては快適になるように設計されています。 Smarty や CheetahTemplate のようなテキストベースのテンプレート言語を経験 したことがあるなら、 Django のテンプレートはしっくりくるはずです。 設計哲学 プログラミングの知識があったり、 PHP のようなプログラムコードを直接 HTML に混ぜ込む言語を使ったことがあるなら、 Django のテンプレートシステ ムが単に H
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
