【Pythonクローラー入門】SeleniumによるWebクローラーの開発 - Qiita

元記事：https://www.octoparse.jp/blog/build-a-web-crawler-with-selenium-and-python/ Webサイトから大量のデータをできるだけ早く取得する必要があるとします。それぞれのWebサイトに手動でアクセスして、コピペでデータを取得することなく、どうやって自動的にデータを取得するのでしょうか？その答えが「Webスクレイピング」です。Webスクレイピングに通じて、この作業を自動化にしてくれます。 今回はPythonでWebサイトからデータをクローニングして、CSVファイルに書き込むというようなWebクローラーを実際に作成してみましょう。 一、必要なPython開発環境を導入 Pythonには、プログラムを組むために便利な標準ライブラリが数多くあります。今回は、以下のライブラリを使用しています。 ・Selenium ーー ブラウザ

[greenbiz]

“・Python 2.xまたはPython 3.xの環境 ・Selenium、BeautifulSoup、csvライブラリの導入 ・Google Chrome ブラウザ”