urllib2をMock化してunittestする - Qiita
悪い例 安易に最初に書いたコードがこれです。一件すると問題なさそうですが、これを実行すると1回目のアサーションは通りますが、2回目のアサーションでAssertionError: 'hoge' != ''となりエラーになります。 from nose.tools import * from mock import Mock from StringIO import StringIO import urllib2 import target def test_get(): urllib2.urlopen = Mock(return_value=StringIO('hoge')) eq_('hoge', target.get("http://dummy-url")) eq_('hoge', target.get("http://dummy-url"))
業種別企業名辞書データを公開しました - Y's note
Web解析Hacks ―オンラインビジネスで最大の効果をあげるテクニック & ツール 作者: Eric T. Peterson,株式会社デジタルフォレスト,木下哲也,有限会社福龍興業出版社/メーカー: オライリー・ジャパン発売日: 2006/11/08メディア: 単行本（ソフトカバー）購入: 3人 クリック: 78回この商品を含むブログ (21件) を見る 企業名辞書 業種と企業名の辞書データが欲しかったんでYahoo!FinanceのデータをCrawlして作りました。帝国データバンクや四季報のデータが使えると良かったんですが、Crawlできそうに無かったので諦めました。残念ながら2600社ほどのデータしか集まっておらず、個人的にはもっといろんなデータが欲しいです。他に良い方法をご存知の方いらっしゃいましたらご連絡いただけると幸いです。 Yahoo!ファイナンス - 株価やニュース、企業情
furl: 使い易いPythonのURLライブラリ - karasuyamatenguの日記
https://github.com/gruns/furl インストール $ git clone https://github.com/gruns/furl.git $ cd furl $ ls API.md furl.py furl.pyc LICENSE.md README.md tests/setup.pyなどはない。 python2.7以上 python2.6でも使えるようにしたフォーク：https://github.com/tengu/furl $ python Python 2.6.6 (r266:84292, Sep 15 2010, 16:22:56) [GCC 4.4.5] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> from furl impor
The jonki
皆さんはPythonのpathlib使ってますか？私は非常によく使っています．例えば機械学習では学習の前に前処理を多く行うケースが非常に多いですが，このようなに知っておくと便利です．pathlibは意外とPython 3.4（2014年～）からとそれなりに新しいため，古くからのPythonユーザーは os.pathの方をよく使っているかもしれません．ただpathlibは文字列ではなくPathクラスとして扱ってくれることで，例えばLinux/Windowsのパス表記の違いを吸収してくれたりします． pathlibとos.pathの比較は公式のpathlibドキュメントに譲るとして，私がよく使うpathlibのクラスを紹介します．また今回改めてドキュメントを眺めて知った便利関数も多いので，公式ドキュメントに目を通すのもオススメします． 今回は下記のような複数の素性の異なるデータセットに対して処
Nothing is impossible : 簡単！たった８行のコードで HTML取得＆解析をするPythonスクリプト
June 07, 201010:49 カテゴリwork 簡単！たった８行のコードで HTML取得＆解析をするPythonスクリプト 簡単！たった１３行のコードで HTML取得＆解析をするPerlスクリプト を見てPythonならもっと簡単だなーと思ったので書いてみる。 import urllib2 from lxml import etree url = 'http://www.yahoo.co.jp' opener = urllib2.build_opener() opener.addheaders = [('User-agent','Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)')] tree = etree.parse(opener.open(url),parser=etree.HTMLParser()
urllib2でプロキシを参照しないようにする - IT担当@谷根千辺り
Pythonurllib.urlopenはステータス404でも例外を発生してくれない。urllib2.urlopenはそのままだと環境変数のプロキシ設定を参照してするようで、ちょっと困る場合があった。というわけで、urllib2.urlopenでプロキシを設定|参照しないようにする方法。 #!/usr/bin/env python import urllib2 #今回はプロキシ設定を空にしておく #proxies = {'http': 'http://www.example.com:3128/'} proxies = {} #プロキシハンドラーの作成して handler = urllib2.ProxyHandler(proxies) #プロキシハンドラーを指定してURL Openerを作成して opener = urllib2.build_opener(handler) #作成したURL
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
nessy.info
urllib2からの接続にTorを使う[Python][Mac] - Qiita![urllib2からの接続にTorを使う[Python][Mac] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/933c4c0d7ae27f48f2940185ba6430befd2aa673/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9dXJsbGliMiVFMyU4MSU4QiVFMyU4MiU4OSVFMyU4MSVBRSVFNiU4RSVBNSVFNyVCNiU5QSVFMyU4MSVBQlRvciVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSU4NiU1QlB5dGhvbiU1RCU1Qk1hYyU1RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9ZDE0NDdmODEyMGZiNWU5ODUxOGM3Y2ZlMzdmZjdhYzM%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzaGlyYWlzaGlfcHkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTE5YzQzMzcxOTY4NTA5NTlkNWYyZjY4NWJkMmYwMDk1%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D465269138e714d935760fa64af7200eb)