[Python] Seleniumを使ったWebスクレイピング
Seleniumは、ブラウザをコマンドを使って遠隔操作することのできるツールです。元々はWebアプリの試験の自動化が主な用途のようですが、スクレイピングにも用いられるようです。また、このツールはPythonから制御することも出来ます。本記事では、PythonからSeleniumモジュールを使ってchromeブラウザを直接制御する方法についてまとめます。 Seleniumって何？ まずはSelenium IDEを使って試してみます。 Selenium IDEはChromeやFirefoxのプラグインで、ブラウザの操作履歴を記録し、それを後で自動で再現できます。Webアプリのテストを自動化するなどの用途に使われるそうです。 ここではChromeをベースに、以下の手順でSelenim IDEを動かしてみます。 ＜手順＞ Selenium IDEをインストールします Chrome web stor
![[Python] Seleniumを使ったWebスクレイピング](https://cdn-ak-scissors.b.st-hatena.com/image/square/5fb45d92815162c45d394db0b958f3a30a015035/height=288;version=1;width=512/https%3A%2F%2Fhibiki-press.tech%2Flearn_prog%2Fwp-content%2Fuploads%2F2018%2F10%2Fselenium_big-logo.png){kind=logo}
実践/現場のPythonスクレイピング - Qiita
!! ======================== !! ※この記事は2019年の記事です。この記事で紹介している内容は2019年当時の内容である事を理解した上で、実際に設定する際は最新の情報を確認しながら行ってください。 !! ======================== !! SeleniumはE2Eテストの自動化などで大きな力を出してくれます。 今回の記事では、下記の内容をまとめてみます。 色々なユースケース 抜け漏れ対策のwait.until()関数 => 実務ではとても重要 IDやClassが無くても、AltやPlaceholderなどから力技で抽出する技 パスワード系 無限スクロール系 必要なツールをまずは揃える Python3.7 ChromeDriver https://sites.google.com/a/chromium.org/chromedriver/dow
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windowsで Headless Chrome + Selenium + Python3 でスクレイピングをする初めの一歩 - HYT MachineWorks
Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
