Scrapy+AWS LambdaでWeb定点観測のイレギュラーに立ち向かう - 無駄と文化
この記事は クローラー／Webスクレイピング Advent Calendar 2016 の10日目の記事です。 9日目は @hotu_ta さん、11日目は @TakesxiSximada さん でした。 Web スクレイピングはイレギュラーとの戦いです。特にそれが Web 定点観測のためのスクレイピングであれば難易度はさらに高まります。 スクレイピングしようとしたタイミングでサーバーが死んでいるかもしれない クローラーを書いていたときには気づけなかったバグが遅れて発動するかもしれない 知らぬ間にスクレイピングしたいページの URL が変更されるかもしれない そんなイレギュラーに立ち向かうために、現在 私が試している方法をまとめてみます。 その前に「Web 定点観測」とは？ Web 定点観測 とは、一言でいうと「一つの URL を定期的にスクレイピングして経時的な変化を追っていく行為」のこ
【Python】2行でHTTPリクエストを並列処理できる便利ライブラリ『GRequests』 - あのねノート。
2014-09-18 【Python】2行でHTTPリクエストを並列処理できる便利ライブラリ『GRequests』 やり方 GRequestsはHTTPリクエストを並列処理するライブラリです。 GRequestsはGitHubでスターを759個付けられているのに、日本語でGRequestsについて触れられた記事はひとつもみつかりませんでした(ほんとかな？) なので紹介します。 GRequestsのインストール pip install grequestsでいけます。GReqestsはrequestsとgeventを使っていますので、それらも一緒にインストールされます。帰ってくるオブジェクトもrequestsのそれなので完璧です。 コードは以下のようになります。 ※ もし404だったりした場合はNoneが格納されます。 サっとHTTPリクエストを非同期処理するときにpip install gr
PythonによるWebスクレイピング入門
Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, Kaiming He, SlowFast Networks for Video Recognition, Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 6202-6211 https://openaccess.thecvf.com/content_ICCV_2019/html/Feichtenhofer_SlowFast_Networks_for_Video_Recognition_ICCV_2019_paper.html
PyCharm を使って仮想環境に Pyramid プロジェクトを作成する...？ - Qiita
これまでのあらすじ 諸事情により最近 Android Studio を使っているので、ついでに Python の開発環境も PyCharm にしてみようと思った。普段は packer で作った VirtualBox の仮想環境に入って Vim 使ってる。 ホスト: Mac OS X 10.9.2 ゲスト: Ubuntu 14.04 LTS PyCharm: 3.4 ゲストは shiguredo/packer-templates で作ったあと vagrant ユーザーじゃなくて新たにユーザー (drillbits) を作って vagrant ssh じゃなくて普通に ssh ログインできるようにしてある。 あと apt で入る Python3.4 には ensurepip ないので普通にビルドしてある。 PyCharm のインストール はい http://www.jetbrains.com/
Python の CUI デバッガ PudB が便利すぎた件
Python のデバッガといえば言語そのものに付属している pdb がまず挙げられるけど、pdb は実行中の行以外を確認できなくて正直かなり使いづらさを感じる。 それ以外の Python のデバッガとしては、以前にこのブログでも winpdb を紹介しているし、それ以外だと Eclipse PyDev プラグインの GUI デバッガをよく使っている。 とはいえ、これら二つは動作に X Window System が必要だったり、プラットフォームとして Eclipse や wxPython をインストールしなきゃいけないのが結構手間になる。 今回紹介する PudB は動作に特別なプラットフォームが不要でなおかつ pdb より便利な CUI のデバッガだ。 インストールはいつも通り PyPI から PIP で。 必要に応じて sudo などする。 $ pip install pudb 使い方は
Pythonで生エクセルファイルを読み書きするpyExceleratorを使ってみた — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 普段自らこういうことはやらないんだけど，やむにやまれず大量(500個ほど)のエクセルファイルをCSVファイルに変換する必要があった。RubyではSpeadsheetというのがあるみたい。PerlではSpreadsheet::WriteExcelとかSpreadsheet::ReadExcelとか使うのかな。 まあ僕はPythonな人ということもあり，Pythonでできないかと思って調べてみたらpyExceleratorというモジュールを発見した。Pure Pythonで書かれたモジュールなのでインストールが簡単。生のエクセルファイルを直接読み書きできるので，プラットフォームを問わず動か
Pythonで作られた便利なコマンドラインツール MySQL Utilities
MySQL Utilitiesならではの注意点 MySQL Utilitiesは従来のコマンドラインツール群とは違い、以下のような記述で接続先を指定します。 これは、従来のコマンドラインツール群が主に1つのMySQLサーバーを対象として動作するものなのに対して、MySQL Utilitiesは2つ以上のMySQLサーバーを対象として動作するものが多いため、このような記法になっています。 [MySQL Utilitiesの記法] --server=ユーザ名:パスワード@ホスト名:ポート番号 [MySQL コマンドラインツール群の記法] --user=ユーザ名 --password=パスワード --host=ホスト名 --port=ポート番号 なおWindows環境ではローカルホストとしてlocalhostと127.0.0.1のどちらを指定しても同じですが、LinuxやUNIXではホスト名に対
pyenv と tox で複数バージョンの Python に対応したライブラリ開発
生まれてはじめて PyPI にコードを登録した。Python 2.7 と 3.3 で使えるようにするにあたり、ライブラリの実装とは直接関係ないところで、とまどった。現時点での手順を記録しておく。 以下を前提とする。 OS X 10.9.1 (Mavericks) homebrew でパッケージを管理 pyenv, pyenv-virtualenv で OS 上の Python 環境を管理 PyPI に登録するライブラリは Python 2.7 と 3.3 に対応 まず始める shimizukawa によるハンズオン資料と公式ドキュメントを併読しながら進める。基本的な作業はハンズオンでだいたい分かる。とはいえ、あなたが持っているライブラリは、必ずしもチュートリアルどおりではないだろうから、公式ドキュメントのガイドが必要になるだろう。 ところで、ナウなヤングは egg じゃなくて wheel
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
Pythonライブラリメモ
分野別メモ(一部、趣味嗜好による偏りがあります) Contents 日付 webプログラミング データ処理 クライアント WSGI/フレームワーク WSGI/ツール、ライブラリ ストレージ RDBドライバ ORM NoSQL キャッシュ ドキュメンテーション テスト 開発 パッケージング/配備 構成管理 日付 python-dateutil arrow mxDateTime webプログラミング データ処理 simplejson lxml pycrypto クライアント requests openid2rp httplib2 WSGI/フレームワーク pyramid flask bottle wheezy web2py turbogears2 pylons WSGI/ツール、ライブラリ webob pastedeploy repoze.* zope.* jinja2 mako chamel
Welcome to Bokeh — Bokeh documentation
Bokeh documentation# Bokeh is a Python library for creating interactive visualizations for modern web browsers. It helps you build beautiful graphics, ranging from simple plots to complex dashboards with streaming datasets. With Bokeh, you can create JavaScript-powered visualizations without writing any JavaScript yourself. Finding the right documentation resources# Bokeh’s documentation consists
)
Mac で Python の開発環境構築(2013.11) - methaneのブログ
しばらく Mac からおさらばしていたのですが、ゆえあって戻ってきました。 Python 3.3 ベースで Python 環境の構築をしたので、参考までに手順を残しておきます。 1. Homebrew で Python 3 をインストール とりあえずベースになる Python を用意します。いまならもう Python 3 を普段使い用にできるので、 Python 3 を用意します。 $ brew install python3 MacPorts でも大丈夫だと思います。 2. 自分用のデフォルト環境を作る システムの Python に直接自分が普段使うツール類をインストールするのは憚られるので、自分用のデフォルト Python を用意します。 Python 3.3 では venv が標準ライブラリにあるので、この手順で virtualenv を手動で準備する必要がなくなりました。 $ mk
pythonapi.com - Domain Name For Sale | Dan.com
Buyer Protection Program When you buy a domain name at Dan.com, you’re automatically covered by our unique Buyer Protection Program. Read more about how we keep you safe on our Trust and Security page. Next to our secure domain ownership transfer process, we strictly monitor all transactions. If anything looks weird, we take immediate action. And if the seller doesn't deliver on their part of the
curlを捨ててhttpieを使おう - Qiita
jkbr/httpie : Github : HTTPie is a CLI, cURL-like tool for humans curl（see urlと発音するらしい本家のFAQによると開発陣は kurl と発音してるらしいです）はプログラムから使うには便利だけど、オプションがわかりにくい。 httpieはより直感的なcurl代替コマンド。よほどcurlに思い入れがない限りhttpieをおすすめする。 インストール 使用例 奥がcurlで、手前がhttpieを使った場合。見れば分かるようにhttpieは自動で色付けをしてくれるし、コマンドもかなり直感的だ。内部的にはPythonのrequestsというモジュールを使っている。Python組み込みのHTTPクライアントに辟易している人はそちらも調べてみるととても幸せになれる。 kennethreitz/requests : Github
最速最強Webサーバーアーキテクチャ - Qiita
POST /post HTTP/1.1 Host: localhost Content-Type: application/x-www-form-urlencoded Content-Length: 7 foo=bar 1行目は request-line で、 method URI HTTP-version の形をしています。URIはホストを含めた絶対URIの場合と、ホストを含めない絶対パスの場合がありますが、絶対パスの方が一般的です。 2行目から空行までが request-header です。各行は field-name: field-value の形をしています。 field-name は大文字小文字を区別しません。 request-line から request-header とそれに続く空行まで、改行は CR LF になってます。Windowsでよく見る改行コードですね。 meth
Google画像で画像検索をPythonから利用する - bluele's blog
公式では提供されていないので、Python2.7 + BeautifulSoupでスクレイピングした。 Beautifulsoupのインストールは pip install beautifulsoup もしくは easy_install beautifulsoup で可能。 書いたスクリプトは以下のとおり 画像URLを引数にして実行すると結果一覧が表示される $ python google_image_search.py http://www.hatena.ne.jp/images/portal/logo-portal-top2@2x.png [u'http://www.lifenet-seimei.co.jp/creators/img/detail_logo_hatena.gif'] [u'http://ugomemo.hatena.ne.jp/images/ci.gif'] [u'htt
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BeeWare、PythonでネイティブGUIアプリケーションが作成できるクロスプラットフォーム用ツールキット「toga」をリリース。
atsuhiro-me.net
Fabric Essentials
php プログラマのための Python チュートリアル — phpy 0.1 documentation