この記事では、Seleniumでクローリング・スクレイピングを実践で安定稼働させるために行うべき設定を3つにまとめました。 待機処理 エラー内容を通知する 処理をリトライする ちゃんと設定すれば、不安定なSeleniumでも、安定して定期実行できるようになるでしょう…! 厳しいことを言うと、苦労して作ったSeleniumテストが不安定だったら現場には無価値ですしね〜。 この記事にまとめた内容が活かされて、安定したクローリング・スクレイピングが行えるようになったら…と祈るばかりです。 待機処理 Seleniumを使用したクローリング・スクレイピングのプログラムを安定稼働させるために、まず設定して欲しい項目があります。 それは、Web Driverの待機処理を追加することです。 Seleniumのエラーの原因は、find_element_xxxメソッドで、指定した要素が見つからないことが95%
![Seleniumを安定稼働させるために行うべき3つの設定(Headlessモードにも対応)](https://cdn-ak-scissors.b.st-hatena.com/image/square/052a97bdfaada7388d1d576a72f64861c428da91/height=288;version=1;width=512/https%3A%2F%2Ftanuhack.com%2Fwp-content%2Fuploads%2F2020%2F01%2Fstable-selenium-1024x587.jpg)