[B! selenium] yutamotyのブックマーク

退屈なブラウザ作業はSeleniumにやらせようーーはじめてでもできるブラウザ操作自動化 | メルカリエンジニアリング

こんにちは、メルカリのQA-SETチームで自動化をぶりぶりしている tadashi0713 です。これまではモバイルアプリ・WebアプリのE2Eテストを中心に自動化をしていましたが、最近ではプロダクト部門・カスタマーサポート部門・コーポレート部門の業務自動化にも挑戦しています。今回はSelenium WebDriver (以下 Selenium) を使って簡単にできるブラウザ作業自動化についてご紹介します。 10/25にGitHub JapanでLT発表した資料もありますので、合わせてご覧ください。 english-lt.connpass.com 意外と多い、ブラウザを使った繰り返し作業社内の色々な職種・チームの方々とコミュニケーションをしていると、ブラウザを使った繰り返し作業が多く感じました。例えば社内で使用しているWebサービスのアカウントを社員に付与する Chartio(h

yutamoty 2017/11/01

リンク

headless chromeをPythonのseleniumから動かして引数を考えた (Ubuntu 16.04) - Stimulator

- はじめに - Chrome 59が正式版となりheadless版も正式に動き始めました。めでたい。 New in Chrome 59 | Web | Google Developers headless chromeをUbuntuに導入してPythonから触ったという記事です。 Ubuntuへの導入から、実行時の引数となるargsの考察などを含みます。スクレイピング関連記事です。 vaaaaaanquish.hatena blog.com - インストール - まずPythonからの起動に必要なchromedriverを取得しておきます。 apt-getでも入りますが最新版が欲しいので以下のように。 (記事書いた当時で最新版は2.29) wget https://chromedriver.storage.google apis.com/2.29/chromedriver_linu

yutamoty 2017/08/16

selenium

リンク

PythonでWebスクレイピングする時の知見をまとめておく - Stimulator

- はじめに - 最近はWebスクレイピングにお熱である。趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。追記 2018/03/05：大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

yutamoty 2017/06/26

リンク

Python+Selenium+PhantomJSが快適すぎる

Selenium便利なんだけど、ブラウザ立ちあげないといけないのはサーバーで使いにくくて不便だよなと思っていたのだけどPhantomJS使えることを知ったので早速遊んでた。なにやりたいかというとGoogle Patent Searchから特許ID抜き出したいのだけど、Python+Selenium+PhantomJSの組み合わせでできることがわかった。 from selenium import webdriver import time driver = webdriver.PhantomJS() driver.get("https://www.google.co.jp/webhp?hl=ja&tab=ww&authuser=0#authuser=0&hl=ja&q=python") print driver.current_url time.sleep(2) driver.save_sc

yutamoty 2015/02/11

リンク

Selenium2.xのちょっとした小技 - kencharosの日記

最近仕事でSeleniumに手を出していて、Selenium2.0以降のAPIを使用している。ところが、2.0以降についての情報が少なく、こんなことするにはどうすれば？みたいなことを調べると大抵旧バージョンだったりするので、2.xでのコードのサンプルのようなものをメモとして書いてみる。また職場のブラウザがIE6だったりするので、Selenium IDEはほとんど使ってません。言語はJavaメインなので、他の言語やブラウザでは使えないかもしれません。また、旧バージョンのSelenium1.xに触ったことはありません。導入ここからダウンロードする。 1.xでは、Selenium-RCと呼ばれていた、各言語のAPIは、WebDriverという名称に変わっているので、各言語向けのWebDriverをダウンロードして、展開してクラスパスを通せば完了。ただし、どのWebDriverを使