Pythonでクローリング・スクレイピングに使えるライブラリいろいろ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る これはクローラー／スクレイピング Advent Calendar 2014の7日目の記事です。 Pythonでクローリング・スクレイピングするにあたって、いろいろなライブラリがあるので一覧でまとめてみます。 以下の4つのカテゴリにわけて紹介します。 Webページを取得する Webページからデータを抜き出す Webページの自動操作 総合的なフレームワーク なんでこれが載ってないの？この説明はおかしい！などありましたらお気軽にお知らせください。なお、この記事はいろいろなライブラリを紹介することを目
【Python】2行でHTTPリクエストを並列処理できる便利ライブラリ『GRequests』 - あのねノート。
2014-09-18 【Python】2行でHTTPリクエストを並列処理できる便利ライブラリ『GRequests』 やり方 GRequestsはHTTPリクエストを並列処理するライブラリです。 GRequestsはGitHubでスターを759個付けられているのに、日本語でGRequestsについて触れられた記事はひとつもみつかりませんでした(ほんとかな？) なので紹介します。 GRequestsのインストール pip install grequestsでいけます。GReqestsはrequestsとgeventを使っていますので、それらも一緒にインストールされます。帰ってくるオブジェクトもrequestsのそれなので完璧です。 コードは以下のようになります。 ※ もし404だったりした場合はNoneが格納されます。 サっとHTTPリクエストを非同期処理するときにpip install gr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
