[Python]Seleniumでスマホ表示をエミュレートする - Qiita
概要 Seleniumにおいて、モバイル端末の表示をエミュレートするための方法のメモです。 Chrome DevTools Protocol（CDP）の機能を使って、画面サイズとユーザエージェントの変更を行います。実機の完全な再現とはなりませんが、おおよその表示の目安にはなると思います。 環境 Windows 10 Python 3.10.4 Selenium 4.1.3 Chrome 101.0.4951.41 コード from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager import os import time with webdriver.Chrome(s
![[Python]Seleniumでスマホ表示をエミュレートする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/454ea5d2c9756d8ccec4ea43c21e6e69c2b12b96/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEU2VsZW5pdW0lRTMlODElQTclRTMlODIlQjklRTMlODMlOUUlRTMlODMlOUIlRTglQTElQTglRTclQTQlQkElRTMlODIlOTIlRTMlODIlQTglRTMlODMlOUYlRTMlODMlQTUlRTMlODMlQUMlRTMlODMlQkMlRTMlODMlODglRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWE4NWJmZTI3OTVhYzZjZjlhNGFmNGQ3YTg3MDcwOTM3%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBtb2NoaV95dTImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTVlMGQ1YTIzYmU5ZWU4ZTc4ZGE0NmYxNmJhNDRlMjI5%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D73f7028616e337468adf952b873ab6b2)
PythonとSeleniumでスクレイピング中のログイン自動化｜トラハック
Pythonによるスクレイピングでログインを自動化する方法【SeleniumとHeadless Chromeを使えばOK】 スクレイピングではwebページから情報を抽出するだけでなく、ログインのように情報入力が必要なケースもありますよね。 Pythonのスクレイピングで自動ログインするには、Selenium + Headless Chromeがオススメです。Seleniumは初心者にも扱いやすく、Headless Chromeはバックエンド（私たちが見えないところ）で動いてくれて自動化プログラムに適しているからです。 後はログインが必要なwebページのアカウント名とパスワードを入力するHTML情報が分かれば、自動ログインは可能になります。 Pythonでログインを自動化する手順①｜SeleniumとHeadless ChormeをインストールするSeleniumとHeadless Chro
Get started with ChromeDriver | Chrome for Developers
This page documents how to start using ChromeDriver for testing your website on desktop (Windows/Mac/Linux). You can also read Getting Started with Android or Getting Started with ChromeOS. Setup ChromeDriver is a separate executable that Selenium WebDriver uses to control Chrome. It is maintained by the Chromium team with help from WebDriver contributors. If you are unfamiliar with Selenium WebDr
Python + Selenium で Chrome の自動操作を一通り（ログイン、ダウンロード、他）
はじめに Python + Selenium + Chrome で、要素の取得、クリックなどの UI系の操作、待機、ページ全体のスクリーンショットなど、一通り試してみます。 PhantomJS はもう更新されないということなので、ブラウザは Chrome にします。 この記事には、Selenium の API に関する情報と Chrome に特化した情報がありますが、前者の Selenium の使い方に関する情報は Firefox など別のブラウザでも使えます。 注意事項 ウェブの自動テストやスクレイピングで使われる技術です。特にスクレイピングでは、著作権の問題や、サーバー側の負荷、各種規約（会員としてログインする場合の会員規約等）やマナーなどを考慮する必要があります。 たとえば、Twitter など利用規約で明示的にスクレイピングが禁止されていることや、robot.txt などでクローリ
SeleniumからHeadless Chromeを使ってみた - Qiita
2018年5月6日: Headless ChromeがStableになった後の現状に合わせた新しい記事を書きました。こちらもご参照ください。 先日PhantomJSのVitalyさんがメンテナーを引退するという話が話題になっていました。ヘッドレスなブラウザーを気軽に使う手段としてPhantomJSにはお世話になりました。今後はHeadless Chromeを使って欲しいとのことなので、試してみました。 Node.jsを使うサンプルは多く見つかりますが、諸事情でPythonを使いたかったので、ここではSelenium経由でHeadless Chromeを使います。 Headless Chromeとは Google Chrome 59から使えるようになる予定の、画面を表示せずに動作するモードです。自動テストやWebスクレイピングなどに役立ちます。 2017年4月28日現在、Mac版とLinux
Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
【2Captcha】Python+Seleniumで『reCAPTCHA』を突破する方法
2Captchaとは 2Captcha公式ページ ロシアの会社が開発したreCAPTCHAを突破するためのプラットフォームです。 通常であれば、プログラムからreCAPTCHAにチェックをいれることは、ほぼ不可能レベルだと言われています。 では、なぜ2Captchaを使うだけで、可能なのでしょうか。 2Captchaの仕組み 2Captchaの仕組みを簡単に説明すると、reCAPTCHAのチェックボタンをネット上の『Worker』と呼ばれている人達に代わりに押してもらっているイメージです。 PythonのSeleniumで説明すると、プログラムの実行中にWorkerの誰かがリアルタイムで解錠した結果を2Captcha経由で受け取ると言ったところでしょう。 なので、2Captchaはプログラムで解錠しているように見えるけど、実際は人力…みたいなオチです。 使用方法 2Captchaを使うため
PythonとSeleniumを使ったブラウザ自動操作
ウェブブラウザは通常人の手で操作しますが、プログラムで動かすことができるのがSeleniumです。 Seleniumを使ったブラウザの操作はWebシステムの自動テストやスクレイピングに使われることが多いですが、それだけに留まらず応用範囲は多いと思われます。 今回はSeleniumを使ったブラウザの自動操作を試してみます。プログラミング言語はSeleniumと相性のよいPythonを使用します。スクレイピングをしようとするとBeautifulSoup等のライブラリを使う例をよく見ますが、できるだけシンプルに動作できるように導入するのはPythonとSelenium、WebDriverだけにとどめ、必要最小限のものだけで動作させてみます。 動作環境はWindows10で紹介しますが、Macでもほぼ同様の操作で実施できると思います。 まずはPythonをインストール Pythonインストーラをダ
ブラウザ拡張Selenium IDEでユーザー操作を記録・再現できる！UIテストの自動化に活用しよう - ICS MEDIA
ブラウザ拡張Selenium IDEで ユーザー操作を記録・再現できる！ UIテストの自動化に活用しよう Selenium IDE（セレニウム・アイディーイー）とは、ブラウザ操作を記録・再現できるChrome、Firefoxで利用可能な拡張機能（アドオン）です。 手軽に記録・再現ができるため、アイデア次第で色々な使い方ができます。筆者は、会社の打刻操作（社内サイトへアクセス → ログイン → 打刻ページへ遷移 → 打刻ボタンをクリック）を記録し、自動実行することでいち早く出社ができるようにしていました。 その他にも開発時に繰り返し行うようなデバッグ作業やルーティーン作業を記録することで、以下のような活用もできます。 入力フォームなどに文字を入力する操作を記録しておき、自動入力させる。 ゲームやSPAのデバッグ時に、スタート画面からデバッグしたい画面までの移動操作を記録しておき、任意の画面へ
帰ってきたSelenium IDEはフロントエンドE2Eテストが気軽にできるあのSelenium IDEだった | そど
この記事は2017年11月21日に投稿した以下の記事の続きです。 Selenium IDEを失った僕たちはどこへ行くべきなのか (出題編) この記事の公開後、Web Extensions形式で実装された新しいSelenium IDEが2017年12月11日に 晴れて ver 1.0 としてリリース、その後も実装とバグ修正が進み 2018年2月27日 には ver 1.0.3 がリリースされました。中身の形式は変わってもブラウザ拡張なので簡単に導入出来ます。 Releases · SeleniumHQ/selenium-ide そして以下がその画面です（ver 1.0.3現在） なじみが有る感じのUIですね。まだまだ開発は初期段階との事ですが、実際に使ってみた所「出来ているのはガワだけ」なんてことは無く、実際に今までのテストケースを微修正しつつE2Eテストに活用していけそうなクオリティが感じ
忘備録1.0 SeleniumCore0.8.0 新機能：Cookie系コマンド
photo (c) 2006 zochika テーブルレイアウト ITpro Selenium Core 0.8.0では、クッキーを扱うコマンドが新規追加されました。内容は以下の通りです。 createCookie ( nameValuePair,optionsString ) テスト対象の現ページと同じドメインとpathの新しいCookieを作成します。 明示的にpathを指定することも可能です。 引数説明 nameValuePair -Cookieの名前と値。書式は"name=value" optionsString - Cookieに対するオプション。現在サポートしているオプションは'path'と'max_age'。書式は"path=/path/, max_age=60"。オプションの記述順番に関係なく、'max_age'が2番目として扱われます。 deleteCookie ( na
Selenium 2.xでHTML要素の非存在をチェックする
Selenium 2.X (確認したのは2.28) で指定したHTML要素が存在しないことをチェックするには、WebDriver#findElements(By)を使う。返値 (List) の長さが0なら、存在しない。例えば、hogeクラスが指定されたdiv要素が存在しないことをチェックするなら、下記のようになる。 if (driver.findElements(By.cssSelector("div.hoge")).size() == 0) { // hogeクラスが指定されたdiv要素は存在しない } このことは、WebDriver#findElements(By)じゃなくてWebDriver#findElement(By)のJavadocに書いてある。ちょっと回りくどい上に、使うメソッドのJavadocには特に何も書いてなくて、よく見失う。 findElement should no
Installing Selenium 2 On Mac OS As Service | Zend Framework Blog
Selenium 2 is a powerful browser emulator which enables you to automate frontend testing (especially JavaScript heavy pages). It can be used with Behat as well for BDD testing. I prefer using Goutte headless driver to test basic functionality and flow of the application but sometimes there are critical parts of the app that rely heavily on client side technologies like JavaScript. Only way to test
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Python】SeleniumでHeadless Chromeを使おう - Qiita
ChromeDriver - WebDriver for Chrome
How to delete Cookies in Selenium Webdriver
WebDriverで、ある要素が存在するかチェックしたい
getPageSource() in Selenium WebDriver(a.k.a Selenium2) using Java
Selenium - driver.getPageSource() differs than the source viewed from browser
http://www.danstraw.com/installing-selenium-2-as-a-service-on-mac-os-x/2010/09/20/