チームにE2Eテストの文化を広めた話 - Sansan Tech Blog
こんにちは。Sansan 事業部プロダクト開発部の奥野です。 私は中途採用で昨年11月に入社して4ヶ月ほどになる、関西支店で勤務するエンジニアです。MAIDO という開発チーム*1 に所属しています。 今回の記事では、1月に私が主催した Selenium のチーム内勉強会を起点にして始まった、E2E テスト導入に向けた動きについてレポートします。なお、E2E テスト（End to End テスト、詳細は後述）の技術的側面については深掘りせず、新しい文化の導入に主題を置きます。 Seleniumとは まず、勉強会の題材とした Selenium について簡単に紹介します。 Selenium とは、ブラウザを使用する E2E テストを自動化するテストフレームワークです。その歴史は2004年から始まっているため*2、ご存知の方も多いかと思います。 E2E テストは、システム全体を一通り動作させて行
Web UIテスト自動化の実行環境をSelenium Gridで - ZOZO TECH BLOG
どうも品質管理部エンジニアチームの木村です。 最近の話ではないんですがWeb UIテスト自動化をしようとなった時の事を書きます。 まずは初期段階の実行環境についてです、自動テストスクリプトの構築や処理そのものはまた次回。 Seleniumでテストを自動化したい！ ZOZOTOWN に限らず最近のサービスはなんでもリリース頻度が高いです。 そして何故なのか、いついかなる時も、開発スケジュールは押し気味になります。 これは業界七不思議の1つです。たぶん。 品質管理部としてのテストは開発スケジュールの一番最後に置かれます。 つまり…短期決戦必須となります…。 そんなよくある話からSeleniumを使ってWeb UIテストを自動にしたいという流れになりました。 リリース頻度が高ければ高いほど、リグレッションテストはおろそかになると思うので、そこを自動テストで改善できると素敵です。 じゃあ自動テスト
Python + Selenium で Chrome の自動操作を一通り（ログイン、ダウンロード、他）
はじめに Python + Selenium + Chrome で、要素の取得、クリックなどの UI系の操作、待機、ページ全体のスクリーンショットなど、一通り試してみます。 PhantomJS はもう更新されないということなので、ブラウザは Chrome にします。 この記事には、Selenium の API に関する情報と Chrome に特化した情報がありますが、前者の Selenium の使い方に関する情報は Firefox など別のブラウザでも使えます。 注意事項 ウェブの自動テストやスクレイピングで使われる技術です。特にスクレイピングでは、著作権の問題や、サーバー側の負荷、各種規約（会員としてログインする場合の会員規約等）やマナーなどを考慮する必要があります。 たとえば、Twitter など利用規約で明示的にスクレイピングが禁止されていることや、robot.txt などでクローリ
Python: Selenium + Headless Chrome で Web ページ全体のスクリーンショットを撮る - CUBE SUGAR CONTAINER
スクレイピングした Web サイトからページ全体のスクリーンショットを撮影したい機会があった。 そこで Selenium の Python バインディングと Headless Chrome を使ったところ実現できたのでメモしておく。 ちなみに、ページ全体でなければ Headless Chrome 単体でも撮れる。 その方法についても末尾に補足として記載しておいた。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | grep -i selenium selenium 3.13.0 $ chromedriver --version ChromeDriver 2.
dockerでE2Eテスト環境を構築 (python3 + selenium) - Qiita
概要 自動のエンドツーエンドテスト環境を作る必要があり、チーム全体で共通で簡易に設置して使えるようにしたい。 そこで、dockerで構築を検討した結果をメモとして残します。 seleniumについて 下記サイトにてとりあえずの基礎知識を得る 入門、Selenium - 第1回 Seleniumの仕組み LinuxのOS選定 上記の資料を読んでいろいろとGoogle先生に聞いたところ、chromeやfirefoxをインストールして正常に動く環境がまず必要。 LinuxとしてCentOSに自分でchromeやfirefoxをインストールして環境を作るとなるとそれなりに手間(構築・メンテ)がかかり他の人に引き継いで継続するのは難しい... そこで、dockerにてコンテナとして扱うことで、簡易に構築できることを目指す。 dockerのseleniumの公式コンテナを使った下記サイトが多機能でいい
SeleniumサーバもDockerで。「Docker Selenium」レビュー | さくらのナレッジ
DockerはIT界隈で広まりつつも、なかなか実践的に使うことができないという人は多いのではないかとかと思います。しかし何もサーバ運用環境として使わずとも、使いどころはあります。その一つがサーバソフトウェアのインストールです。 サーバソフトウェアはインストールの手間と、その後のバージョンアップや他のソフトウェアで使っている共通ライブラリのコンフリクトなど、とかく運用が面倒です。基幹系システムが入っているサーバに他のソフトウェアをインストールするのは躊躇しますよね。 そういったときにDockerを使えばそれぞれのソフトウェアの環境が分けられるのでセキュリティ、運用的に安心できます。今回はその一つとしてDocker Selenium、Dockerを使ったSeleniumサーバを紹介します。 Docker Seleniumのインストール インストールはとても簡単です。なおDockerはインストー
フロントエンド・テストツール比較 Selenium #01環境構築編 - Qiita
# 作業ディレクトリ作成(以降、フルパスを参照するときは/path/to/seleniumと記述) $ mkdir selenium && cd selenium # 空ファイル作成 $ echo "{}" > package.json # SeleniumStandaloneをインストール $ npm install selenium-standalone --save-dev # 以降、/path/to/selenium/node_modules/.binにPath通していたら、短く書けます $ node_modules/.bin/selenium-standalone install # WebDriverIOをインストール $ npm install webdriverio --save-dev # WebDriverIOの設定(別記1参照のこと) $ node_modules/.
退屈なブラウザ作業はSeleniumにやらせようーーはじめてでもできるブラウザ操作自動化 | メルカリエンジニアリング
こんにちは、メルカリのQA-SETチームで自動化をぶりぶりしている tadashi0713 です。 これまではモバイルアプリ・WebアプリのE2Eテストを中心に自動化をしていましたが、最近ではプロダクト部門・カスタマーサポート部門・コーポレート部門の業務自動化にも挑戦しています。 今回はSelenium WebDriver (以下 Selenium) を使って簡単にできるブラウザ作業自動化についてご紹介します。 10/25にGitHub JapanでLT発表した資料もありますので、合わせてご覧ください。 english-lt.connpass.com 意外と多い、ブラウザを使った繰り返し作業 社内の色々な職種・チームの方々とコミュニケーションをしていると、ブラウザを使った繰り返し作業が多く感じました。 例えば 社内で使用しているWebサービスのアカウントを社員に付与する Chartio(h
Selenium WebDriver + python で E2Eテスト自動化
JJUG CCC 2019 fall g3のセッション資料です。 「ちょっと凝ったことをしようとすると大量のXMLを書かなきゃいけない」「プラグインを並べてもうまく動いてくれない」など、Mavenは誤解され敬遠され、Gradleなどの他のビルドツールにシェアを奪われてきました。 が、依然としてMavenはJavaのデファクトスタンダードなビルドツールに位置づけられており、マスターする価値は十分にあります。そして良く学んでみると、そもそもXMLで過度なカスタマイズしようというのが誤った使い方だったのに気づきます。そこへ至るにも、タスクランナーの延長線上にある他のビルドツールと異なり、Maven独特なライフサイクルとプラグインの関係性もきちんと理解しておかなければなりません。
Selenium, Jenkins, Ruby(Capybara) の E2E テスト環境基盤を Docker で構築したときの知見のまとめ(環境編) - Qiita
Selenium, Jenkins, Ruby(Capybara) の E2E テスト環境基盤を Docker で構築したときの知見のまとめ(環境編)RubySeleniumJenkinsDockerdocker-compose 概要 以下の図のような E2E テスト環境基盤 を構築しました。 これは以下からコードを clone し bash deploy.sh を実行すると環境が出来上がったりします。 ※docker, docker-compose が使えることが前提です Github: toririn/e2e_docker なんでこんな面倒な構成をするんだという所もありますが、とりあえず環境を作ってみたという所が大きいです。 いつの間にやら docker-compose の書き方も変わったりしていたのでいい勉強になりました。 ということでこの テスト環境基盤の説明・デプロイ方法と、 d
docker-selenium 使って見た - Qiita
内容 画面系のテストの毎回大変 → 画面系のテストを自動化できるseleniumというのがあるらしい。 → ただ画面があって動かすのはダサいなー → docker内でヘッドレスに動作するselenium環境が作れるらしい → 使ってみた docker-seleniumのインストール ソースは https://github.com/SeleniumHQ/docker-selenium から取得 種類はたくさんあるのですが、 今回はselenium自体を使うのもほぼ初めてなのと、動いている画面も見たかった、想定ブラウザがchromeなのでVNC付きのselenium/standalone-chrome-debugを選択。 standalone-chrome-debugとstandalone-chromeの違いはVNCサーバーの有無みたい。 あとはstandalone-chromeには日本語フォ
[Python] スクレイピング in AWS Lambda - Qiita
Javascriptありのサイトに対応するため、下記のスタックでスクレイピングする環境を整える Phantomjs Selenium 必要ライブラリ ローカル実行 pip install python-lambda-local デプロイ pip install lambda-uploader サクッと試したい方は下記のリポジトリで https://github.com/akichim21/python_scraping_in_lambda 実行スクリプト selenium(driver: phantomjs)でjs実行済みのhtmlを生成して、タイトルを抜き出すということをやってます。最後にclose(), quit()してphantomjsをkillするだけのスクリプト。 #!/usr/bin/env python import time # for sleep import os #
![[Python] スクレイピング in AWS Lambda - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b46c9829da2c9a970bccadf2feb2e42060b81c41/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJTIwJUUzJTgyJUI5JUUzJTgyJUFGJUUzJTgzJUFDJUUzJTgyJUE0JUUzJTgzJTk0JUUzJTgzJUIzJUUzJTgyJUIwJTIwaW4lMjBBV1MlMjBMYW1iZGEmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWZhODZiOTE1MzAxYmM5NDg1ZDFiMThiZDJkZWNhYWZk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBha2ljaGltMjEmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTczMWViMTU3ZDc0M2JjZDI2YjA2MzE3NzE5MzdmYmM0%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Da2e0e804ed2506cbc2f46ede720a196a)
Awesome Selenium : 素晴しい Selenium ライブラリの数々 - Qiita
元記事： Awesome Selenium Awesome List in Qiita Awesome Ruby Awesome Java Awesome JavaScript Awesome Node.js Awesome Python Awesome Go Awesome Appium Tools JavaScript selenium-webdriver - Selenium プロジェクトの公式 WebDriver バインディング. WD - WebDriver/Selenium 2 の node.js クライアント. WebdriverIO - WebDriver に 50 以上のアクションを追加したより良い実装. CasperJS - オープンソースナビゲーションスクリプティング & テスティングユーティリティ. Zombie.js - めちゃくちゃ早い, ヘッドレスフルスタック
WebDriverでブラウザを自動化
WebDriverって何? 正確にはSelenium WebDriverのことで、ブラウザを制御するためのフレームワークでFirefox,Chromeなどのブラウザに対応しています。対応している言語はJava、C#、Ruby、Python、JavaScriptの5種類です。 これさえあれば面倒なログインやその他の単調な作業を自動化することができます。私が使っているのはTokyoTechPortalという東工大生用のWebページにアクセスする際に、マトリクス認証という面倒な認証をするときに使っています。(それ以外使っていない。) 今回はPythonでのコードで説明をします。 インストール ここからダウンロードして各自頑張ってください。 Googleで検索してみる #-*-coding: utf-8-*- from selenium import webdriver driver = webd
くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情 | POSTD
ソーシャルメディアのAPIとそのレート制限は、あまり気分のよいものではありません。特にInstagram。あんな制限つきAPIを欲しがる人がいったいどこにいるんでしょうね？ 最近のサイトは、スクレイピングやデータマイニングの試みを阻止するのがうまくなってきました。AngelListはPhantomJSすら検出してしまいます（今のところ、他のサイトでそこまでの例は見ていません）。でも、ブラウザ経由での正確なアクションを自動化できたとしたら、サイト側はそれをブロックできるでしょうか？ 並行性を考えたり、さんざん苦労して用意した結果として得られるものを考えたりすると、Seleniumなんて最悪です。あれは、私たちが「スクレイピング」と聞いて思い浮かべるようなことをするためには作られていません。しかし、賢く作り込まれた今どきのサイトを相手にして、インターネットからデータを掘り当てるための信頼できる
selenium-webdriverの紹介とAPI翻訳 - Qiita
こんにちは、中島 (@nazomikan)です。 ※この記事は2016年に書かれた記事でver2系を対象に書いています。 ver3,4-betaで色々変わってるのでその辺についてのキャッチアップはこちらの記事をご利用ください 最近のselenium-webdriverの話 本記事は株式会社ネクスト(Lifull) Advent Calendar 2016の1日目の投稿です。 ブラウザベースのテストツールのseleniumをコードから実行するselenium-webdriverのnode版について導入からAPI紹介までしていきます。 あと手元で作業するにあたってAPIの翻訳(ソース上にうまってるdocsの翻訳)をしてたのでそれも載せておきます(むしろそっちメイン) 導入 webdriverのテスティングについて テストの書き方 よくある使い方 API翻訳 driverのAPI navigat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Seleniumクイックリファレンス
AWS Lambda(Python3)でSelenium + Chrome Headless + でwebスクレイピングする - ヤマムギ
PythonでSeleniumを操作する — Selenium Python Bindings 2 ドキュメント
kasoutuuka.org - For Sale!