selenium-grid-hubを使ってdocker上でスクレイピングする環境を整える話-スクレイピングアドベントカレンダー、8日目の記事です。 スクレイピング環境の構築について スクレイピングは便利な技術ですが、その環境構築は少し面倒な場合があります。例えばheadlessに動作させるためにxvfcを入れるか、最近はHeadless Chromeを入れる場合もあるでしょう。 スクレイピングをしたいと思う動機は色々あると思いますが、手元の環境でちょっとした情報収集のためにスクレイピングをするならともかく、何か本番用のサーバなどで動かす場合などはいちいち環境を合わせる必要があって面倒です。 筆者もそのような機会があり、dockerを使えたら楽なのになあと考えたのでした。 最初に構築した環境 この節は解決に至ってないので読み飛ばしていいです。ただの苦労話なので。 最初はrubyのdockerイメージでコンテナを作ってchrome、xvfcなどをインストールをインストールして使う、と
