pythonでUA偽装してseleniumでブラウジング - Qiita
UA偽装できました！ 金曜日に上の人と話し、「自動化するとしたらUA偽装できないと実用価値ないね」という事になり、pythonで偽装できる方法を探したところ、案外あっさり出来ました。 import os from selenium import webdriver options = webdriver.ChromeOptions() #ここにUAを書きます。今回はiPhoneでsafari options.add_argument('--user-agent=Mozilla/5.0 (iPhone; CPU iPhone OS 10_2 like Mac OS X) AppleWebKit/602.3.12 (KHTML, like Gecko) Version/10.0 Mobile/14C92 Safari/602.1') # いつもどおりchromedriverの場所を指定します
【Selenium】Chromeの拡張機能を起動する方法(Python) - ゆうきのせかい
Python × Selenium × ChromeDriverでGoogle Chromeを起動すると、通常だと拡張機能はまっさらな状態で起動してしまいます。 でも、↓こんなふうに「拡張機能も同時に起動したい」ということがあったので、方法をメモしておきます。 ChromeDriverに"拡張機能実行オプション"を与えることで、実現できました。 【Selenium】ChromeDriverを拡張機能あり状態で起動する起動する拡張機能のIDを調べる拡張機能が保存されているフォルダーパスを調べる"拡張機能起動オプション"を与えてコード実行この3ステップです。順番に説明していきます。 1. 起動する拡張機能のIDを調べるまず、chrome拡張機能のIDを確認しましょう。 chromeを開き、右上三点マーク > その他のツール > 拡張機能 をクリック。 拡張機能ページが開くので、右上の「デベロッ
第662回 Docker+Selenium ServerでWebブラウザ自動操作環境を作る | gihyo.jp
今回は、Selenium ServerによるWebブラウザ自動操作環境を、Ubuntu上にDockerを使って簡単に構築する方法を紹介します。 Webブラウザの自動操作を可能にするSelenium Seleniumは、Webアプリケーションのテストを、人が操作することなく自動で行うために開発されているソフトウェアです。本来は「テストの自動化」のために開発されたソフトなのですが、Webブラウザを用いて行っている業務の自動化や、Webサイトの情報を自動収集するスクレイピングなどにも使われています。 今回、主に紹介するのは「Selenium Server」を使う方法ですが、他に「Selenium IDE」というFirefoxおよびGoogle Chrome用の拡張機能も開発・配布されています。Selenium IDEを使えば、デスクトップ環境でWebブラウザの操作を記録し、簡単に再実行させること
Python を活用しながら Web サイトのデータ収集を効率化（２）【実装編】 - Qiita
はじめに みなさん、こんにちは。 株式会社キカガクの機械学習講師 藏野です。 キカガクは、「AI を含めた先端技術の研修」を行っている会社です。 この記事は、「Web スクレイピングで特定のデータを取得して CSV で出力」までの実務的な内容を取り扱います。 スクレイピングの記事は多くありますが、活用を見据えてデータを取得し保存するところまで取り組みたいという方は、ぜひ参考にされてください。 この記事は、Python を活用しながら Web サイトのデータ収集を効率化（１）【環境構築編】の続きとなっています。 必ず読む必要はありませんが、スクレイピングの仕組みを復習したい方は一読をオススメします。 目次 スクレイピングの手法 環境構築 実践 おわりに お知らせ Web スクレイピングの手法 スクレイピングには、以下の 2 つの手法があります。 Selenium を使用して、ブラウザを自動操
「ほん訳コンニャク」 を食べて 論文を読もう - Qiita
TL;DR; 以下の「ほん訳こんにゃく」を作った。 （※ 上記のbadgeを 2020/12/18 に追記しました。 ） 作りたかったもの 研究室配属で、かねてから取り組みたかった 「シナプス可塑性におけるmiRNA機能とそれらが記憶や学習などの高次認知機能に与える影響の解明」 を自分の研究テーマ（※暫定）にすることができ、生物系の論文を読む機会が圧倒的に増えたのですが、元々深層学習系統の論文しか読んでいなかったため、常識や背景知識不足に悩まされ、DeepLやGoogle Translateなしには論文が読めないという日々が続いていました。 論文を読みながら適宜翻訳するのは非効率ですし、iPadにPDFを保存して電車内で読むなんてこともできず、かといって全部一度翻訳するのは非常に面倒で、「これ、自動化したいな〜」と思ったので、「論文のURLを投げれば、全文翻訳付きのPDFを生成するプログラ
テストを自動化するのをやめ、自動テストを作ろう
July Tech Festa 2020 TrackB https://jtf2020.peatix.com/
ShellでSeleniumを作る ~Shellnium~ - Qiita
はじめに この記事はQiita夏祭り2020のイベントの1つ、パソナテックさんが開催している「〇〇（言語）のみを使って、今△△（アプリ）を作るとしたら」のテーマで投稿しています。 いやぁ良いお題ですよね。エンジニア心揺さぶられるし、景品も豪華だし、何よりちょっとワクワクしたので参加させていただきました。 今回は「ShellでSeleniumを作る ~Shellnium~」というお題でやっていきます。下記はShellniumで遊んでいるGIFです。 ブラウザの自動操作の模様をiTermの背景として鑑賞することができます。意味不明さがすごいですね。(透明度をいじってるとかではありません) いろんな言語でSeleniumは扱える Seleniumは皆さん御存知の通り、ブラウザの自動操作をするツールですね。 SeleniumはWebDriverを介してブラウザの自動操作を行っていくもので、php,
なぜE2Eテストでidを使うべきではないのか ｜Autifyブログ
こんにちは。AutifyのSET(Software Engineer in Test) 、末村(@tsueeemura)です。 皆さん、E2Eテストしてますか？以前はほぼSelenium一択みたいなところがありましたが、最近はPuppeteerやCypress、TestCafeなどいろいろなフレームワークがあり、ついつい目移りしてしまいますね！ さて、どのフレームワークを使うにせよ、E2Eテストを書く上で共通で意識しないといけない重要なファクターがいくつか存在します。 その一つが ロケータ です。操作や検証の対象となる要素を指定するためのキーのことです。 ロケータにはCSSセレクタやXPathが利用でき、idやclass、name といった属性を利用するのが一般的です。 今回はこのロケータについての話を書こうと思います。 ロケータとは 要素を一意に指定できさえすればロケータに使うものは何で
誤解されることが多い「テスト自動化」の範囲について - Qiita
1 概要 近年、「テスト自動化」と言う用語が話題になることが多いです。 しかし、特に初学者の方が「テスト自動化」と表現される場合、「単体テストの自動化」のみをターゲットにされている方が多いように感じています。 テストの工程や種類（タイプ）には単体テスト以外にも様々なものがあり、それらの種類を押さえたうえで「どこまでのテストが必要」で、「どこまでが自動化できているか」を把握されることが重要と考え、まとめてみました。 2 テスト工程について テストの工程には、以下のようなものがあります。 なお、ここでの工程はプロジェクトごとに呼び方が違いますので、一例とお考え下さい。 ① 単体テスト 単体テストは、「ユニットテスト」、「コンポーネントテスト」、「モジュールテスト」、「プログラムテスト」などとも表現されます。 テスト対象としては「単体のプログラム」となり、メソッドや関数などの単位でのテストを行い
iOS 13のSafariブラウザが「WebDriver」を正式サポート。SeleniumなどによるUIテストの自動化が容易に
現在ベータ版が公開中で、9月には正式版が登場する見込みのiOS 13のSafariブラウザが「WebDriver」を正式にサポートすることをAppleが発表しました。 Starting in iOS 13, Safari now includes native support for the W3C WebDriver standard. This feature builds on existing support for WebDriver in desktop Safari, first introduced in Safari 10 and macOS Sierra. iOS 13から、SafariがW3C WebDriver標準仕様をネイティブにサポートする。この機能は、macOS SierraのSafari 10からサポートが始まった既存のデスクトップ版SafariのWebDr
ゼロからはじめるPython(49) Pythonでブラウザ自動操縦してカード明細を自動でダウンロードしよう(その1)
クレジットカードの利用明細はこまめにチェックする必要がある。なぜなら、カードの不正使用などの危険があるからだ。しかし、最近ではオンライン明細が推奨されており、カード会社のサイトにログインして、明細をダウンロードしなければならないことも多い。カードが複数枚あるなら、それはかなり面倒な作業となる。そこで、自動でカード明細をダウンロードするプログラムを作ってみよう。今回は、環境の構築をし、簡単なプログラムを作ってみよう。 Webブラウザを自動操縦しているところ Webブラウザを自動操作しよう PythonにはデータをWebから取得する命令がいろいろある。最も簡単なのは、Pythonに標準で用意されているurllib.requestだ。これを使うと任意のURLからデータを取得できる。しかし、最近のWebサイトは、セッションという仕組みを利用していたり、JavaScriptでページをレンダリングした
Python + Seleniumでタスク管理画面のキャプチャを取得する - Qiita
はじめに タスク管理ツールとしてMammothProjectというタスク管理アプリを使用しています。 さて、私の職場では日報が採用されており、やり残したタスクを書く項目があるのですが、なかなかめんどくさいのでタスク管理ツールのキャプチャを貼るようにしました。（後々webスクレイピングにしてもいいかもー） そこでやっぱり自動化ですよね。 想定は ヘッドレスchromeでMammothProjectにログイン 自身のタスク一覧画面をキャプチャ となります。 環境 Python 3.7.3 mac OS Mojave 後、当コードの実行にあたって以下サイトを参照してSeleniumを実行できる環境を用意しています。 https://qiita.com/memakura/items/20a02161fa7e18d8a693 コード from selenium import webdriver fr
Selenium WebDriver (Chrome) でテストするにあたり役に立ったTips - Qiita
Node.jsのSelenium-webdriverでE2Eテスト書くためのTips。はじめから知っていればどれだけ捗ったか。 Seleniumの公式ドキュメントはここ 探してもなかなか見つからなかった。 ここ。 https://seleniumhq.github.io/selenium/docs/api/javascript/index.html 公式ドキュメントを見るのが1番なので、Qiitaで知った気になっている人はこのリンク先だけ見ておけ。 ChromeのデベロッパーツールにXpathを作ってもらう 階層が深いDOMElementだったり、SPAでいろいろなコンポーネントを使ってサイトを作っていると、なかなかXPathを思ったとおりに指定するのが難しい。 そんな時は思考停止してChromeのデベロッパーツールを使ってXpathを取得しよう。 とはいえ @class @id で指定す
Web UIテスト自動化の実行環境をSelenium Gridで - ZOZO TECH BLOG
どうも品質管理部エンジニアチームの木村です。 最近の話ではないんですがWeb UIテスト自動化をしようとなった時の事を書きます。 まずは初期段階の実行環境についてです、自動テストスクリプトの構築や処理そのものはまた次回。 Seleniumでテストを自動化したい！ ZOZOTOWN に限らず最近のサービスはなんでもリリース頻度が高いです。 そして何故なのか、いついかなる時も、開発スケジュールは押し気味になります。 これは業界七不思議の1つです。たぶん。 品質管理部としてのテストは開発スケジュールの一番最後に置かれます。 つまり…短期決戦必須となります…。 そんなよくある話からSeleniumを使ってWeb UIテストを自動にしたいという流れになりました。 リリース頻度が高ければ高いほど、リグレッションテストはおろそかになると思うので、そこを自動テストで改善できると素敵です。 じゃあ自動テスト
implicitly_wait-Python
「implicitly_wait」を実行することで、指定したドライバの要素が見つかるまでの待ち時間を設定出来ます。 下記サンプルでは、GoogleTopページに遷移する前に、指定したドライバに対して「implicitly_wait」を実行しています。「implicitly_wait」の引数に数値(秒数)を指定することで、指定した待ち時間の間、要素が見つかるまで(ロードされるまで)待機します。また、「implicitly_wait」で指定されたdriverの要素全てに対して、見つかるまでの待ち時間を一律に指定していきます。 (下記サンプルに話を戻し)続いて「driver.find_element(By.ID, xxx)」で要素取得を試みていますが、指定したidである"abc"はGoogleTopページに実在しないidである為、要素を見つけることができません。しかし、画面遷移直後に要素がロード
Selenium API(逆引き)
指定したurlへ遷移する java python ruby ウインドウを閉じる java python ruby ウインドウを閉じる(全てのウインドウ) java python ruby ブラウザを履歴中で一段階戻す java python ruby ブラウザを履歴中で一段階進める java python ruby ブラウザを更新する java python ruby クッキー(名)を指定して削除する java python ruby 全てのクッキーを削除する java python ruby ウィンドウの位置を設定する java python ruby ウィンドウを最大化する java python ruby ウィンドウのサイズを設定する java python ruby ダイアログの[OK]ボタン/
SeleniumからStableになったHeadless Chrome/Firefoxを使ってみる - Qiita
1年ほど前に以下の記事を書きましたが、StableなGoogle Chromeでヘッドレスモードが使えるようになり、今となっては紛らわしい記述もあるので、新しく記事を書きます。ついでにFirefoxのヘッドレスモードも触ってみました。 SeleniumからHeadless Chromeを使ってみた - Qiita https://qiita.com/orangain/items/db4594113c04e8801aad Headless Chromeとは何か、なぜ注目されているかといった背景についてはこの記事を参照ください。 SeleniumからHeadless Chromeを使う SeleniumからGoogle Chromeを操作するにはChromeDriverが必要です。 環境 試した環境は以下のとおりです。 macOS Sierra 10.12.6 Google Chrome 66
Python + Selenium で Chrome の自動操作を一通り（ログイン、ダウンロード、他）
はじめに Python + Selenium + Chrome で、要素の取得、クリックなどの UI系の操作、待機、ページ全体のスクリーンショットなど、一通り試してみます。 PhantomJS はもう更新されないということなので、ブラウザは Chrome にします。 この記事には、Selenium の API に関する情報と Chrome に特化した情報がありますが、前者の Selenium の使い方に関する情報は Firefox など別のブラウザでも使えます。 注意事項 ウェブの自動テストやスクレイピングで使われる技術です。特にスクレイピングでは、著作権の問題や、サーバー側の負荷、各種規約（会員としてログインする場合の会員規約等）やマナーなどを考慮する必要があります。 たとえば、Twitter など利用規約で明示的にスクレイピングが禁止されていることや、robot.txt などでクローリ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クロスブラウザテストの闇と闇と闇
seleniumの2つの待機方法 - ストックドッグ
