BeautifulSoupを使ってGoogleの表示順位を調べる - ひきメモ
BeautifulSoupはHTML解析用のライブラリです。htmllib.HTMLParserやHTMLPaprser.HTMLParserと違い、正しくないHTMLも扱えるようです。これを使ってGoogleの表示順位を調べるスクリプトを書いてみました。 #!python # vim:fileencoding=utf-8 import re import sys import time import urllib2 import urlparse from BeautifulSoup import BeautifulSoup g_url = "http://www.google.co.jp/search?hl=ja&num=100&q=" next_text = u"次へ" interval = 3 client_encoding = "cp932" server_encoding =
urllib2モジュール - ひきメモ
Getリクエスト >>> import urllib2 >>> r = urllib2.urlopen("http://www.yahoo.co.jp") Postリクエスト >>> import urllib >>> query = {"name":name, "password":password} # 送信するデータ >>> query = urllib.urlencode(query ) # URLエンコード >>> r = urllib2.urlopen("http://www.hatena.ne.jp/login", query) レスポンスオブジェクトのメソッド >>> r = urllib2.urlopen("http://d.hatena.ne.jp/yumimue/edit") >>> r.code, r.msg # レスポンスコードとメッセージ (200, 'OK')
python :: urllib2 でhttps通信したときのめも - ichirin2501's diary
軽くめも、相変わらずの語尾の不安定さ。 以下の動作は全て python2.7 で行いました。 自動でCookie処理をさせる デフォルトではCookie処理が自動でされないらしい 例えば以下のようにCookie用のhandlerを追加することで解決できる import urllib2 import cookielib opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookielib.CookieJar())) urllib2.install_opener(opener) build_openerを探る build_openerは OpenerDirector のインスタンスです。 build_openerに引数として渡したhandlerというものが何なのかよくわかりませんでした。 Cookie処理のhandlerが設定さ
要ログインのサイトにPythonのurllib2でアクセスする - hylom's
‐ programming, open source, os, and a handful of tips ログインが必要なWebサイトに対してスクリプトでページを取得/送信したい場合、まずログイン用のURLに対しログイン情報をPOSTしてCookieを取得する、という作業を行うのが一般的だ。しかし、Pythonのurllib2を利用すると簡単にPOSTは行えるのだが、なぜかCookieを取得できない、という問題が発生することがある。 これはurllib2のurlopen()でURLを開き、帰ってきたオブジェクトのinfo()メソッド経由でSet-Cookieヘッダを取得しようとする場合に発生する。たとえばCMSを使用しているWebサイトで、管理用ページ以外に（正当な）Cookieを持たずにアクセスするとCookieなしでアクセスできるトップページ等にリダイレクトされる、というケース。多く
urllib2でCookieを使う - ひきメモ
urllib2モジュールでCookieを使ったWebへのアクセスは以下のように行います。 import urllib2, cookielib cj = cookielib.CookieJar() # Cookieを格納するオブジェクト cjhdr = urllib2.HTTPCookieProcessor(cj) # Cookie管理を行うオブジェクト opener = urllib2.build_opener(cjhdr) # OpenDirectorオブジェクトを返す r = opener.open(url) urllib2.build_opener( )はurllib2.BaseHandlerクラスまたはそのサブクラスのインスタンス（ハンドラオブジェクト）を引数に取ります。OpenDirectorオブジェクトは複数のハンドラを経由してリクエストの送信及びレスポンスの受信を行います。
Python
・0からの基礎 ・ファイル入出力 ・webを開く（GETレスポンス） ・webを開く（POST+Cookie） 0からの基礎 http://www.python.jp/Zope/intro/ http://www.python.jp/Zope/intro/instant_hacking_jp ^top ファイル入出力 test.txtの中身を表示するスクリプト #ファイル入出力のテスト(読み取る) r = open("test.txt","r") # open("test.txt")でも同じ txt = r.read() r.close() print txt test2.txt（無ければ作成）に書き込む #ファイル入出力のテスト(書き込み) r = open("test2.txt","w") r.write("書き込みのてすと") r.close() #ファイルをコピーします。 file
PythonでHTTPS通信してはてなにログインしてみる - yattのブログ
今書いているプログラムでhttps通信を使ったログイン処理っぽい事をする必要が出てきたのでPythonのマニュアルを読んで、簡単にできることがわかりました。urllib2を使うみたいだ。 http://www.python.jp/doc/2.5/lib/urllib2-examples.html サンプルとして、はてなにログインするプログラムを書きました。 import urllib2 url = 'https://www.hatena.ne.jp/login' name = '' # type your own username password = '' # password req = urllib2.Request(url, 'name=%s&password=%s' % (name, password)) #req.add_header('hoge', 'fuga') cont
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
