BeautifulSoupを使ってGoogleの表示順位を調べる - ひきメモ
BeautifulSoupはHTML解析用のライブラリです。htmllib.HTMLParserやHTMLPaprser.HTMLParserと違い、正しくないHTMLも扱えるようです。これを使ってGoogleの表示順位を調べるスクリプトを書いてみました。 #!python # vim:fileencoding=utf-8 import re import sys import time import urllib2 import urlparse from BeautifulSoup import BeautifulSoup g_url = "http://www.google.co.jp/search?hl=ja&num=100&q=" next_text = u"次へ" interval = 3 client_encoding = "cp932" server_encoding =
ニコニコから動画を落とすスクリプト改 - ひきメモ
ニコニコ動画ダウンローダ - odz bufferを参考にして、以前作ったニコニコから動画を落とすスクリプトを少しばかり修正しました。 デフォルトでCookieを"nico-cookie.txt"から読み込む ログインしていなければ、ログイン後、Cookieをファイルに保存 スクリプト使用後にブラウザの方はログアウト -cオプションでブラウザ（Mozilla系）のCookieファイルを指定 ログイン処理を行わないので、ブラウザの方でログインしてから使用 スクリプト使用後もブラウザの方のログイン状態を維持 プログレスバーにhttp://pypi.python.org/pypi/progressbarを使用 関数を使ってまとめたので、前よりは見やすくなったと思います。複数の動画を落とせるようにしようと思ったのですが、ブラウザからアクセスした時に「短時間での連続アクセスはご遠慮ください」と言われ
HTTP系のPOST,プロクシ(Proxy),クッキー(Cookie),ヘッダ書き換えなんかのメモ - Passing days
HTTPリクエストでPOSTを使う方法 import urllib import urllib2 post_data = {} post_data['email'] = 'hoge@hoge.com' # エンコード en_post_data = urllib.urlencode(post_data) # リクエスト r = urllib2.urlopen('http://hoge.com/',en_post_data) # urllib.urlopenも同じ # build_openerも同様 opener = urllib2.build_opener() r = opener.open('http://hoge.com/',en_post_data) ようするに、urlopen()やopen()の第２パラメタにデータを渡せばPOSTしてくれる。 プロクシ経由でHTTPリクエストを行う方
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
Python/HTTP - やる気向上作戦
HTTPでデータを読み込む (gzip対応) 参考: http://www.diveintopython.org/http_web_services/gzip_compression.html import urllib2, gzip, socket, StringIO # ソケットタイムアウト時間を設定 socket.setdefaulttimeout(30) # リクエストオブジェクトを構築 req = urllib2.Request('http://example.com/') # ヘッダを追加 req.add_header('Accept-encoding', 'gzip') req.add_header('User-agent', 'MyUserAgent (+http://example.com/robot.html)') # リクエストを送信し、レスポンスを読み
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Issue 4308: repr of httplib.IncompleteRead is stupid - Python tracker
Issue 3721: invalid literal for int() with base 16: '' - Python tracker
