現場のスクレイピング - Qiita
ツールを準備する Python 3.10.6 ダウンロード先：https://www.python.org/downloads/ インストールするときの注意点としては Add Python 3.x to PATH のチェックを入れ忘れないこと ChromeDriver ダウンロード先：https://sites.google.com/chromium.org/driver/downloads Google Chrome と ChromeDriver のバージョンを合わせる必要があるので まずは Google Chrome のバージョンを確認してください。 確認する方法がいくつかありますが、得られる結果は同じです。 Google Chromeの右上の3点リーダーから、ヘルプ ＞ Google Chrome について Google Chromeのアドレスバーに以下を入力して確認する chrom
図解！PythonでSeleniumを使ったスクレイピングを徹底解説！(インストール・使い方・Chrome) - ビジPy
Seleniumとは Seleniumとは、ブラウザを自動的に操作するライブラリです。主にWEBアプリケーションのテストやWEBスクレイピングに利用されます。 主にWEBスクレイピングでは、JavaScriptが使われているサイトからのデータの取得や、サイトへのログインなどに使われています。 ここではまずスクレイピングの流れを確認し、その中でSeleniumがどのように使われるかを説明します。 スクレイピングの流れ スクレイピングは、大まかに３つのステップに分けることができます。 １つ目はWEBサイトのHTMLなどのデータ取得です。ただし、HTMLには必要な文章のデータだけでなく、タグなどのデータも混じっているので、必要なものだけを抽出する作業が必要になります。 そこで２つ目のデータの抽出が欠かせません。ここでは、複雑な構造のHTMLデータを解析し、必要な情報だけを抽出します。データの抽出
入門
Seleniumは市場で主要なブラウザの全てを WebDriver を使うことでサポートしています。 WebDriverとはAPI群とプロトコルです。これらはウェブブラウザの動作をコントロールするための言語中立なインターフェイスを定義しています。 それぞれのブラウザは特定のWebDriverの実装を持っており、これらは driver と呼ばれます。 driverはブラウザに委譲する責務を持つコンポーネントであり、Seleniumとブラウザ間の通信を処理します。 この分離は、ブラウザベンダーに自分たちのブラウザでの実装の責任を持たせるための意図的な努力のひとつです。 Seleniumは可能な場合これらのサードパーティ製のdriverを使いますが、それが現実的でない場合のためにプロジェクトでメンテナンスしているdriverも提供しています。 Seleniumフレームワークはこれら全ての要素をユ
curl+xpath から始めるお手軽スクレイピング（２） - それマグで！
この記事は前回の続きです。 curl とxpath でお手軽スクレイピング 前回までで、xpath + curl + cookie を使いました。 xpath はとても便利なので、基本的な使い方を再掲しておきます。（以前にまとめたもののですが） xpath 内容 //* 全てのノード //a 全ての<a> ノード (//a)[1] 全ての<a> ノードを取得して、最初の１個 (//a)[2] 全ての<a> ノードを取得して、２番め（配列アクセス） (//a[1]) 親ノード中の最初の１個の<a>をすべて //a/span span ノードで、親が<a>のものをすべて //a/@href aノードのすべてのhref属性 //a/text() aノードのすべてのtext()表現 //a[@href="/index.html"] aノードのうち href属性が"/index.html"と合致する
【2022年度版】Python + Selenium よく使う操作メソッドまとめ - Qiita
はじめに WebスクレイピングでSeleniumを使っており、かれこれ1年以上経ちます。 いつも「あれ？？これどうやって書くんだっけ？？」となり、毎回調べているのうんざりし始めたので、本記事にまとていくことにしました。 ChromeOptions 必要なオプションが設定されていないと、稀に下記のようなタイムアウトエラーが発生します、 options = webdriver.ChromeOptions() options.add_argument("start-maximized") options.add_argument("enable-automation") options.add_argument("--headless") options.add_argument("--no-sandbox") options.add_argument("--disable-infobars")
ヘッドレスChrome(Chromium)がzombie processを生み出してしまう場合の対処法 - Qiita
TL;DR chrome(chromium)を起動するときに--no-zygoteオプションを指定すると、 余計なプロセスが立ち上がらなくなりゾンビプロセスも発生しない。 概要 ヘッドレス(--headless)でChromeを立ち上げた場合に、以下のようにゾンビプロセスが溜まってしまうことがあります。 (以下はAWS Lambda内でchromiumを立ち上げた場合) sbx_use+ 24 0.0 0.0 0 0 ? Z 13:50 0:00 [chromium] <defunct> sbx_use+ 25 0.0 0.0 0 0 ? Z 13:50 0:00 [chromium] <defunct> sbx_use+ 53 0.0 0.0 0 0 ? Z 13:50 0:00 [chromium] <defunct> sbx_use+ 54 0.0 0.0 0 0 ? Z 13:50
【Selenium】エレメントの獲得方法とアクションの一覧 - しらすのStudy blog
find_element_by_id find_element_by_name find_element_by_xpath find_element_by_link_text find_element_by_partial_link_text find_element_by_tag_name find_element_by_class_name find_element_by_css_selector find_elements_by_name find_elements_by_xpath find_elements_by_link_text find_elements_by_partial_link_text find_elements_by_tag_name find_elements_by_class_name find_elements_by_css_selector <html>
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
