はじめに Webサイトが静的であれば、requests モジュール等を使ってhtmlの解析ができますが、Javascriptを使った動的サイトであればページが読み込まれてからデータが反映されることもあり、静的サイトのように解析ができません。 そのような動的サイトのスクレイピングは、Selenium というライブラリを使用することで可能になります。ただし、Selenium では走らせるブラウザの WebDriver が必要になります。 今回はSeleniumを使ったWebスクレイピング環境をDockerで構築します。 この記事で使用したソースコードは以下のGitHubで利用できます。