【Python3】ブラウザを経由したスクレイピング(動的なページなど)【Selenium】 - Qiita

Pythonによるスクレイピング&機械学習 Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみようより 学習ログ。 前回 2-1では、 ログイン機能(Cookie)のあるサイトでのスクレイプ を行いました。 この章で得られるもの 2-2では、ブラウザを経由したスクレイピングを行っていきます。 環境 Python 3.6.0 コード こちら(Git)にて 2-2 ブラウザを経由したスクレイピング Ajax的なデータの取得などの、Javascriptを多用したサイトでは、ブラウザを使用しないと、正しくスクレイプできません。 例えば、PrimeVideoとか、Youtubeとかは、スクロールによってデータを動的に読み込んでいます。 このようなサイトでは、requestモジュールでは、jsが動作せず、ペー