pyppeteerは、npmモジュールであるpuppeteerをpythonに移植したものです。 ヘッドレスブラウザ（chromium）を開いて、実際にブラウザ内でページを読み込んで、CSSセレクタでHTMLエレメントを取得してクリックし、画面遷移したりすることができます。JavaScriptも実行されるので動的に描画された後のHTMLを取得したりすることもできます。また、画面遷移時にCookieも共有されるので、Cookieやセッションが必要なサイトのスクレイピングもできます。 インストール シンプルな使い方 マルチプロセスで実行 Linux上で実行 pyppeteer.errors.BrowserError: Browser closed unexpectedly ssl.SSLError: ("bad handshake: Error([('SSL routines', 'tls_p

Pythonでスクレイピングを実装する機会があったので、その中で利用した（もしくは技術検証した）ライブラリについて、特徴やどういう時に利用するかについて個人的な見解を書いていこうと思います。 requests 特徴 インストール 実装サンプル 単純にリクエスト リトライありでリクエスト Beautiful Soup 特徴 インストール 実装サンプル pyppeteer 特徴 詳細 requests-html 特徴 実装サンプル ヘッドレスブラウザを使わないケース ヘッドレスブラウザを使うケース scrapy 特徴 詳細 参考リポジトリ 結局どれを使う？ requests 指定したURLに対してリクエストを投げて、レスポンスを取得することができるシンプルなライブラリです。 JavaScript実行を必要としないような静的なサイトからResponseを取得する目的であればこれで十分です。 特徴