はてなブックマーク

ソフトウェアテスト関係者くらいしか使わない絵文字 仕事ではよく使うけど、使うのはソフトウェアテストに関係する人ぐらい、という言葉を集めて「ソフトウェアテスト関係者くらいしか使わない絵文字」を作りました！ どなたでも自由に、無料で、面倒な登録不要で、すぐにダウンロードできます！ この絵文字が、皆さんの業務をちょっとだけ効率化したり、いつものコミュニケーションをちょっとだけ楽しいものにしたり、ソフトウェアテストの存在を今よりちょっと多くの人に広めたりできたらうれしく思います。 制作にあたって、MagicPodユーザーの皆さんにはたくさんのアイディアをいただきました。本当にありがとうございます！ 評判が良かったら続編も公開していきますので、楽しみにお待ちください！ ￥0 ダウンロード

※この記事は古くなっていて、現在のMagic Podの機能とは異なる部分がたくさんあります。 こんにちは、戸田です。 みなさんMagic Podしてますか？ Redditアプリの回、かんたんだったでしょう？ えっ、まだしてない？ そうですね、まだアサーションのやり方をご紹介していませんでした。 では、試しにGoogle Playで配布されているStackExchangeアプリを題材に、Magic Podで最初のアサーションをやってみましょう。 Stack Exchangeアプリのテストをしてみよう 次の画面遷移図が示すシナリオに沿って、Stack Overflow上でのタグ検索で得られる記事に同じタグが含まれているかを確認してみましょう。 Magic Pod上で、Stack Exchangeアプリのプロジェクトとテストケースを新しく作るところまでは済んだところから始めます。 最初の画面です

Seleniumの記録・再生ツールといえばSelenium IDEやSelenium Builderが有名ですが、これらのツールはFirefox55以降動作しなくなっていました※1。そこでSeleniumプロジェクトチームによって新バージョンの開発が進められ、先日ついに、Chromeで動作する新しいSelenium IDEのバージョン1.0がリリースされました。 今日は、この新しいSelenium IDEをはじめとする、無料で使える様々なSeleniumスクリプトの記録ツールについてご紹介します。 なおこの記事では、プログラマー向けに、「プログラミング言語によるスクリプト作成の補助ツール」という観点から各種ツールを比較します。プログラミング言語でスクリプトを書く場合も、スクリプト記録ツールは下記のような用途に活用でき、非常に便利です。 ブラウザ上の要素のロケータ※2 を簡単に取得する テス

前回の記事で、ディープラーニングなどの機械学習技術を活用し、モバイルアプリの自動テストスクリプトが簡単に作れる、MagicPodという弊社のWebサービスを紹介しました。 前回紹介した時点ではこのサービスは開発中でしたが、その後開発を進めて機能が出揃って来たので、本日より先行登録ユーザー限定の「クローズドβ版」の提供を開始しました。今日は、そんなMagicPodの機能を紹介しましょう。 ※2017年7月24日よりオープンβ版を提供開始しました！ シンプルで直感的なUI なぜ世の中の自動テストツールは、あんなにもよく分からないボタンだらけなのでしょう？MagicPodが目指しているのは、迷わない、シンプルで分かりやすいデザインです。 テストスクリプトは、図1の「テストケース」一覧ページで管理します。

今日は、今話題のAI(人工知能)技術「ディープラーニング」を使い、誰でも簡単にモバイルアプリの画面自動テストスクリプトが作成できるWebサービスのお話です。 ※2017年7月24日よりオープンβ版を提供開始しました！ AppiumやSeleniumのような画面を自動操作するテストツールはとても便利ですが、一方で、こうしたツールを利用していないプロジェクトもたくさんあります。何がツールの導入を妨げているのでしょう? 筆者は、次の2つがとりわけ大きな問題だと考えています。 システムの内部情報をある程度理解しないと、テストスクリプトを書くこと・読むこと・編集することが難しく、それなりのスキルが必要。 テストスクリプトの作成に時間がかかりすぎる。特に、読みやすく変更に強いスクリプトを作成しようとすると、かなりの手間がかかる。 これらの問題を、ディープラーニングによる画像認識を使って解決しようとして

近年、クラウド上に簡単にCI(継続的インテグレーション)環境を構築できる様々なWebサービスが人気を集めています。 中でも有名なものの1つに、CircleCIというサービスがありますが、このCircleCI上でSelenium WebDriverのテストを実行するための日本語情報が意外にもあまり見つからなかったので、今日はこの手順をご紹介しましょう。 なお、この記事はSelenium Advent Calendar 2015の16日目の記事です。 CircleCI上でのSeleniumテストの実行 CircleCI上でSelenium WebDriverのテストを実行するのは、実は非常に簡単です。 CircleCIがビルドに使用するマシンはデフォルトではLinuxですが、このマシンには次のソフトウェアが既にセットアップされています。※1 Firefox、Chromeが最初からインストールさ

先日公開したオープンソースのSeleniumテスト結果レポートSahaginを使い、GebやSpockのテスト結果も見やすくできるようになりました。現在ベータ版ですが、今日はその方法をご紹介します。 Sahagin for Geb・Spock Gebは、Groovyを使ってシンプルにスクリプトを記述できるブラウザ画面テストツールで、内部ではSelenium WebDriverを使ってブラウザ操作を行っています。GroovyのテストフレームワークであるSpockと組み合わせてよく利用されます。 SahaginのGroovy版を使えば、このGeb・Spockのスクリプトから、日本語 + 画面キャプチャのテスト結果レポートを生成することができます。 例えば、次の図1のようなテストスクリプトから、 def "宿泊予約が成功すること_1"() { setup: "予約情報入力ページに対し" go "

iOS向け自動テストツール、ios-driverにも対応したのですが、ios-driverの環境を手元に作れず未検証です。 Sahagin + Appium + Jenkinsのデモ 勉強会では、AppiumのテストをJenkinsで実行し、テスト結果をJenkins Sahaginプラグインで確認するデモを行いました。 使用したAppiumのテスト結果レポートは、サンプルレポートページから実際にブラウザで確認することができます。使用したコードはサンプルコードレポジトリにアップしています。コードには実用的でない書き方の部分が多々あり、その部分にはTODOコメントをつけています。 スライド セットアップ手順 Sahaginのセットアップは、こちらのページを参考に行ってください。AppiumとSahaginをうまく組み合わせる場合、Sahaginのバージョンは0.6以上にする必要があります。

その他の機能 その他いくつかの機能をピックアップして紹介します。 Selenium WebDriver APIの併用 次のようにして、ラップされている大元のWebDriverのインスタンスを取得できます。FluentLeniumの機能だけで実現できないことがあった場合には、WebDriverの機能を直接利用することができます。

Selenium WebDriverが利用されるにつれて、Selenium WebDriverのコマンドをラップして、よりシンプルに書けるようにしたライブラリもいくつか登場してきました。Rubyの<a title="Capybara" href="http://teamcapybara.github.io/capybara/" target="_blank" rel="noopener noreferrer">Capybara</a>、Groovyの<a title="Geb" href="http://www.gebish.org/" target="_blank" rel="noopener noreferrer">Geb</a>などは聞いたことのある方も多いでしょう。 Javaで同じようなことを実現したい場合には、<a title="FluentLenium" href="https

TRIDENTでは、主にSeleniumを活用したテスト自動化支援サービスを提供していますが、実際にSeleniumを利用する上で次のような課題があると感じていました。 保守性・柔軟性の観点から、プログラミング言語でスクリプトを書くことをお勧めしたいが、そうなると非プログラマがスクリプトやエラー内容を理解しにくくなる。 1ステップごと、もしくはエラー発生時に画面キャプチャを取得し、テスト結果画面から確認できるようにするための作り込みと設定が面倒。 この課題を解決し、Seleniumをもっと使いやすいものにするために、SahaginというHTMLレポートツールを作ってオープンソースで公開しました。現在ベータ版ですが、今日はその機能について紹介したいと思います。 Part 2では、インストール&利用方法(Java)、Q&A、既知の問題を紹介します。 Sahaginでできること Sahaginを

pom.xmlの設定 続いて、pom.xmlを図2のように設定します。Allure Frameworkは、テストフレームワークごとの埋め込みロジック(Adapter)と、HTMLレポートの生成ロジック(Report)から構成されており、pom.xmlでも対応する2種類のライブラリを指定しています。 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2005/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>s

スマートフォンの普及に伴い、インターネットの利用はデスクトップからモバイルにシフトしており、最近の調査ではスマートフォンからのアクセスがパソコンを上回るウェブサイトも増えています。 Seleniumでもこのモバイルへの対応が重要なテーマになっており、 Seleniumプロジェクトやその周辺プロジェクトにおいて、既に様々なツールがリリースされています。 今日は、このSeleniumによるモバイルテストの現状についてご紹介します。 iPhoneDriverとAndroidDriver Seleniumプロジェクトのモバイルへの対応はかなり早くから始まっており、2009年2月にはiOS(iPhoneおよびiPad)のブラウザテストを行うiPhoneDriver※1が 、2010年6月にはAndroidのブラウザテストを行うAndroidDriverがリリースされています※2。(ちなみにSelen

今日は、テスト自動化と、ブラウザ自動テストツールSeleniumについて、知らない方でも分かるようイチから解説したスライドを作ったのでご紹介します。 このスライドは、2014年2月28日に開催された「Enterprise × HTML5 Conference」の発表スライドに、時間の関係で省略した多数の未発表ページを加えたものです。 イチから分かる解説についてはこれで終わりですが、せっかくですのでスライドの見どころをご紹介しましょう。

最近登場した新たなSeleniumの記録・再生ツール、Selenium Builderについて、Selenium IDEとの機能比較を過去4回の記事にわたって行ってきました。 今回はその比較結果をコンパクトにまとめ、Selenium Builderとはどのようなツールなのかについて、分かりやすくお伝えしていきます。 Selenium Builderとは Selenium Builder(以下Builder)は、Seleniumスクリプトの記録・再生を行うFirefoxプラグインです。 Seleniumの記録・再生ツールとしてはSelenium IDE(以下IDE)が有名ですが、IDEには 旧来のSelenium RC形式のコマンドしか扱えない アーキテクチャがFirefoxに強く依存しており、他ブラウザへの移植やプラグイン開発が難しい といった難点があります。※1 Builderは、これら

直近のコミット数 2013年の10/1から12/13の間にGitHubレポジトリに行われたコミット数を比較したところ、Builderは66コミット、IDEは5コミットでした。 BuilderはDavid Stark氏(Sauce Labs所属)が、IDEはSamit Badle氏が、それぞれメインで開発を進めているようです。 「開発スピード」まとめ Builderの方が、現在も機能追加などが活発に進められています。 将来性 色々比較してきましたが、結局のところ一番重要なのはこの「将来性」かもしれませんね。 Seleniumの開発者メーリングリストの、2012年11月の「Contributing Se Builder to the Selenium Project」というトピックの中で、BuilderをIDEの後継ツールとしてSeleniumプロジェクトでサポートしていくという方針が示されて

様々なブラウザを使った記録 Builder、IDEとも、Firefox上でしか記録は行えません。 Builderの大部分のモジュールはブラウザに依存しない形式で実装されており※1、今後Firefox以外のブラウザに対応していきたいという目標もあるようです。※2 様々なブラウザを使った再生 IDEは、以前の記事で紹介した方法を使い、Chrome、Internet Explorer等、様々なブラウザでスクリプトを再生できます。 「マルチブラウザ」まとめ 現時点ではIDEの方が進んでいます。 スクリプトのメンテナンス性を高める機能 IDEには、スクリプトのメンテナンス性を高めるプラグインがいくつかあります。 その中でもSelBlocksプラグインは、if文、for文、while文、try-catch文、さらにファイルからパラメータを読み込んでのテスト実行や関数定義もできるようで、注目したいプラグ

Seleniumスクリプトの記録・再生を行うFirefoxプラグイン、Selenium Builder(以下Builder)と、Selenium IDE(以下IDE)の比較記事Part 2です。 Part1はこちらから。 記録・再生精度の比較 Part 2では、画面自動テストツールの中核機能である、記録・再生機能の精度を比較します。 実際のWebサイトへの操作の記録 記録・再生精度の比較にあたっては、いくつかのWebサイトへの操作の記録・再生を実際に行い、その結果を比較しました。 今回は、国内アクセス数上位10サイト※1 (google.comはgoogle.co.jpと重複するので除外)に対し、筆者の独断と偏見で簡単なテストケースを作成し、その操作の記録・再生がどの程度行えるかを調べました。 まずは記録です。今回作成したテストケースとその記録結果は図1のようになりました※2。 小さくて読

ブラウザ操作を記録してSeleniumのスクリプトを生成するツールと言えば、以前はSelenium IDEでしたが、最近ではSelenium Builderというツールも登場しています。 次世代のSelenium IDEを目指して作られているというこのツール※1、まだ使ったことが無い方も多いと思います。 今回は、まだまだ知られていないこのSelenium Builderの全貌を、Selenium IDEと比較しながら明らかにしていきましょう。 かなり長い記事になりますので、Part 1からPart 4に分けてお届けしていきたいと思います。 ブラウザ操作を記録してSeleniumのスクリプトを生成するツールと言えば、以前はSelenium IDEでしたが、最近ではSelenium Builderというツールも登場しています。 次世代のSelenium IDEを目指して作られているというこのツ

「name=your-name」「css=input.button」のような、操作対象の画面要素を特定するための記述(「ロケーター」と呼びます※1 )が、何箇所にも分散しています。 「UIマッピング」とは、この分散したロケーターを、UIマップファイルという1つのファイルで集中管理する手法です。(図2) ロケーターに「inputName」「buttonSearch」などのわかりやすい別名をつけ、テストスクリプト中ではロケーターでなくこの別名を使用します。 UIマッピングを行うと次のようなメリットがあります。 画面のHTMLが変わった場合に、UIマップファイル中のロケーターだけを書き換えればよいので、メンテナンスの手間が大きく軽減されます。 わかりやすい別名を使用することでテストスクリプトが読みやすくなります。 ちなみに、UIマッピングをさらに洗練させたページオブジェクトデザインパターンという

日本Seleniumユーザーコミュニティ 設立のお知らせ このたび、日本におけるSeleniumの更なる普及と発展、情報共有を目的として「日本Seleniumユーザーコミュニティ」を設立いたしました。 まずは、ユーザー間の情報共有の場として「日本Seleniumユーザーコミュニティ」Googleグループを作成しておりますので、興味のある方は是非お気軽にご参加下さい。 なお、参加資格や参加者への義務などは特にございません。 今回作成したGoogleグループは、主に次の2つを目的としています。 Seleniumの分からないこと・困ったことについて、ユーザー間で共有し解決方法を教え合う Seleniumについての記事や勉強会・セミナーなどの情報共有 もちろん、Seleniumに関する内容であれば、上記にこだわらず投稿していただいて構いません。 ちなみに海外では... Selenium Users

Selenium IDEは、ブラウザ操作の記録と再生が手軽にできるFirefoxアドオンです。 Selenium公式サイトのダウンロードページを見ると、「Selenium IDE Plugins」というタイトルで、このSelenium IDEの機能をさらに拡張するFirefoxアドオンがたくさん並んでいます。 今回は、これらのSelenium IDEプラグインの中から、特におすすめのものを選んで紹介したいと思います。 Favoritesお気に入りテストスイートの簡単読み込み おすすめ度：★★★ Selenium IDEにテストスイートを読み込んだり、別のテストスイートに切り替える作業は、意外と面倒ですね。 このプラグインを使えば、IDEの画面に「Favorites」ボタンが追加され、テストスイートの読み込み・切り替えが簡単にできます。 使い方も簡単ですぐ覚えられます。 詳細(英語)

ブラウザの画面テストを自動化するツール、Selenium。 大変便利なツールなのですが、Selenium RC、Selenium IDE、WebDriverなど色々な名前が出てきて、「なぜこんなややこしいことになっているんだろうか」と思ったことはありませんか? その理由を知るには、Seleniumの歴史について知る必要があります。 今回は、Seleniumの誕生から2013年5月現在に至るまでの歴史を振り返りながら、それぞれのツールがどのような位置付けのものなのか、見ていくことにしましょう。 ※ 歴史はいいからとりあえずSeleniumを使ってみたい、という方は、Selenium公式サイトからSelenium IDEをダウンロードすれば使えます。 Selenium Core Seleniumの原型は、米ThoughtWorks社で働いていたJason Huggins氏によって2004年に作

Selenium IDEは、ブラウザ操作を記録してSeleniumのスクリプトを生成できるFirefoxプラグインで、プログラムを書かなくてもSeleniumのスクリプトが作成できることから、多くの人に利用されています。 記録したスクリプトの再生をSelenium IDEで行うこともできるのですが、Firefoxプラグインということもあり、これまで実行はFirefoxでしか行うことができませんでした。 しかし、2013年4月26日にリリースされたSelenium IDE 2.0を使えば、Selenium IDEからChromeやInternet Explorerなど他のブラウザ上でのテストスクリプト実行を行えるようになりました。 今回は、SeleniumのコミッターであるSamit Badle 氏のブログ記事 "WebDriver Playback in Selenium IDE is H

テスト実装 スタブツール 例えばユニットテストを実施する場合に、一部のモジュール(クラス・関数等)が未完成などの理由で、その部分はダミーの実装を使ってテストを行うことがあります。このようなダミーのモジュールのことを「スタブ」と呼びます。(図1) スタブツールを使うと、このようなスタブのソースコードを簡単に生成することができます。 シミュレータ 例えば家電製品やスマートフォン向けのプログラムをテストする場合、実際の機器を用意したり、毎回実際の機器にプログラムをインストールするのは非常に手間がかかる場合があります。シミュレータを使うと、実際の機器を用意しなくてもパソコン上でこれらのプログラムを動作させることができ、テスト作業の効率化につながります。 他には、システム間連携時の動作をテストする場合に使える、連携先システムがあたかも存在するかのように振舞うシミュレータなどもあります。 ラボイメージ