pythonでスクレイピングする際に利用するライブラリ比較 - rinoguchiのメモブログ

Pythonでスクレイピングを実装する機会があったので、その中で利用した（もしくは技術検証した）ライブラリについて、特徴やどういう時に利用するかについて個人的な見解を書いていこうと思います。 requests 特徴 インストール 実装サンプル 単純にリクエスト リトライありでリクエスト Beautiful Soup 特徴 インストール 実装サンプル pyppeteer 特徴 詳細 requests-html 特徴 実装サンプル ヘッドレスブラウザを使わないケース ヘッドレスブラウザを使うケース scrapy 特徴 詳細 参考リポジトリ 結局どれを使う？ requests 指定したURLに対してリクエストを投げて、レスポンスを取得することができるシンプルなライブラリです。 JavaScript実行を必要としないような静的なサイトからResponseを取得する目的であればこれで十分です。 特徴

[build-3w7ai]

pythonスクレイピング用ライブラリが簡潔に比較されている良記事。ヘッドレスブラウザはSelenium一択だと思っていたけど、今はpyppeteerの方が盛り上がっているのかな。