この記事では、CircleCI Orb を使って不安定なテスト(Flaky Tests)を Slack 通知する方法について紹介します。 Test Insights ダッシュボードから不安定なテスト(Flaky Tests)を確認する方法flaky-tests-notify Orb について1) CircleCI Token と Slack Token を作成する2) CircleCI 設定ファイルを作成する3) Scheduled Pipeline(パイプラインのスケジュール実行) を設定する Test Insights ダッシュボードから不安定なテスト(Flaky Tests)を確認する方法 2021 年に CircleCI は Test Insights ダッシュボードをリリースしました。 このダッシュボードでは Flaky Tests を検出することができ、これらのテストを素早く直

この記事では、iOSの自動テスト(iOSシミュレーターを使ったUIテスト)を分割・並列実行することによって、実行時間を短縮する方法について紹介します はじめに iOS アプリケーション開発において、品質を継続的に向上させるために、自動テスト・CircleCI などのCI/CDツールの導入は、もはや欠かせないものとなりました。 そして、自動テスト・CI/CDを1回導入するだけでなく、継続的に改善していくことが重要です。 例えば、アプリケーション規模や自動テストの数、開発規模が大きくなっていくと、CI/CD におけるビルド・テストの実行時間は長くなってしまい、結果として開発スピードを低下させてしまいます。 特に 今回紹介する XCUITest(Xcode UITest) などのUIテストでは、実際に iOS 実機や iOS シミュレーターを動かしてテストを実行する必要があるため、実行時間が長く

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

日本のソフトウェア企業のテスト・テスト自動化に関する資料をまとめています

Windows10 / Microsoft Edge での自動テスト(Selenium WebDriver)を Azure DevTest Labs 上で実行して高速化したお話 この記事は、Mercari Bold Challenge Month の 2日目の記事です。 メルカリで QA Automation Engineer をしている 根本 征 です。 私は現在、メルカリWeb版のUIテスト自動化に取り組んでいます。 今回は、Microsoft Edge ブラウザでの UIテスト自動化 (Selenium WebDriver) とその環境構築についてお話します。 マルチブラウザ時代のUIテスト戦略 Windows10 / Microsoft Edge で Selenium WebDriver のテストを動かす Windows 10 / Microsoft Edge のテスト環境への課題

6月14日から15日にかけて、インド・バンガロールでAppium Conf 2019が開催されました。300人を超える自動化エンジニア、QAエンジニアが集い、Appiumを活用した自動テストを中心に30以上ものセッションが行われました。今回は主にAppiumをはじめとしたモバイルテストを実行させるテスト環境についてのセッションをまとめて紹介します。 Appiumをはじめとしたモバイルテストを安定・高速化させる重要性 Appiumは実際に対象アプリを動かすため、主にモバイルアプリのE2E UIテストとして用いられます。 テストピラミッドからも分かる通り、E2E UIテストは以下の特徴があります。 実行時間がかかりやすい 環境要因などで不安定（Freaky）になりがち すべてを結合させた上でテストをするため、テストの忠実度は高い 「Test Pyramid」（Martin Fowler）より引

メルカリWeb版のUIテスト自動化で目指している世界と、そのために作った Selenium Grid・Zalenium 環境 on Azure Kubernetes Service(AKS) メルカリの自動化＆品質保証グループ（Automation & QA Group：通称AQA）の 根本 征 です。 私は普段、テスト自動化・CI / CD 改善・その他社内の生産性を上げるための自動化を行っています。 今回は、最近私たちが行なっているメルカリWeb版のUIテスト自動化と、その自動テスト環境についてご紹介したいと思います。 メルカリWeb版のUIテスト自動化について UI自動テスト環境に関する課題 Selenium Grid を Azure Kubernetes Service(AKS) 上で構築する Zaleniumを試す Azure Kubernetes Service(AKS)で受け

メルカリの自動化＆品質保証グループ（Automation & QA Group：通称AQA）の 根本 征 です。 私は普段、テスト自動化・CI / CD 改善・その他社内の生産性を上げるための自動化を行っています。 今回は社内で HeadSpinというサービスをトライアルしてみたので、サービス自体やその感想についてご紹介したいと思います。 HeadSpinとは モチベーション HeadSpinの主な機能 デバイスファーム 自動テスト実行環境 パフォーマンスモニタリング 感想 SDKを入れる必要がない安心感 iOSのデバイスファーム・テスト実行環境・パフォーマンスツールとしての独自性 テスト実行環境をある程度任せられる 何をモニタリングし、どのエンジニアにフィードバックするか まとめ HeadSpinとは HeadSpinはモバイルアプリのパフォーマンスをモニタリングする環境として、デバイス

Docker × Android エミュレータで、自動テスト(Appium)を並列化・爆速にする環境を作ったお話 これは Mercari Advent Calendar 2018 10日目の記事です。 こんにちは、メルカリの自動化＆品質保証グループ（Automation & QA Group：通称AQA) の 根本 征 です。 私は普段、テスト自動化・CI / CD 改善・その他社内の生産性を上げるための自動化を行っています。 今回は、Android・Appium の自動テストを 20~30台のエミュレータで並列実行できる 環境を作成したので、その試行錯誤についてお話したいと思います。 これまでの Android 自動テスト環境とその課題 Docker-Android クラウドでどう実行させたか 仮想マシンの入れ子(Nested Virtualization) を有効にする ベアメタルイン

お久しぶりです、メルカリの自動化＆品質保証グループ（Automation & QA Group：通称AQA）で、自動化をぶりぶりしている tadashi0713 です。 私は普段、テスト自動化・CI / CD改善・その他社内の生産性を上げるための自動化を行っています。 11月14日（水）に「AQA POP TALK #3 〜海外カンファレンスから見えたテスト自動化の未来〜」というタイトルでイベントを開催させていただきました。 mercaridev.connpass.com 今回は実際に海外カンファレンスに参加した3名から、テスト自動化の今後に関する情報をお届けしました。 今回紹介したカンファレンス AQAグループでは、「Output & Outcome（結果）を出す人には、インプットを手に入れる機会を提供したい」 というミッションのもと、今年から積極的に海外カンファレンス・イベントに参加し

10月18日から19日にかけて、アメリカ・シカゴでSeleniumConf Chicagoが開催されました。600人を超える開発者が集い、Selenium／Appiumを活用した自動テストについて20以上のセッションが行われました。この記事では、私が聴講したセッションを基に、Seleniumなどの自動テストを安定化・スケールさせるためにどのようなアプローチができるのかをご紹介します。 SeleniumConf Chicago SeleniumConfとは Selenium WebDriver（セレニウム・ウェブドライバー）はクロスブラウザ・クロスプラットフォームでブラウザ操作を自動化できるオープンソースのツールです。今年WebDriverの仕様がW3Cの勧告に到達したことでも話題になりました。 『「WebDriver」がW3Cの勧告に到達。Webブラウザのテスト自動化などを実現』（Publ

こんにちは、メルカリの自動化＆品質保証グループ（Automation & QA Group：通称AQA）の 根本 征 です。 私は普段、テスト自動化・CI / CD改善・その他社内の生産性を上げるための自動化を行っています。 今回はiOSのUIテスト自動化について、最近の改善をまとめてご紹介したいと思います。 ざっくり言うと HTMLレポートに出力し、失敗原因を見やすくするようにしました リトライ実行するためのfastlaneプラグインを作りました テスト実行環境をJenkinsからCircleCIに移行しました Slack Commandを使って、簡単に実行できるようにしました これまでのiOSのUIテスト自動化 AQA(旧QA-SET)では去年から、JP版アプリ(iOS / Android)のUIテスト自動化に取り組んでいます。 去年のMercari Tech Conf 2017では、

こんにちは、メルカリの自動化＆品質保証グループ（Automation & QA Group：通称AQA）で、自動化をぶりぶりしている tadashi0713 です。 私は普段、テスト自動化・CI(継続的インテグレーション) / CD(継続的デリバリー)改善・その他社内の生産性を上げるための自動化を行っています。 今回は、最近行なっている Android CIの高速化・改善 についてご紹介したいと思います。 ◆ これまでのAndroid CI / CD 去年、私はJP版メルカリAndroidのCI / CDサービスをCircleCI1.0からBitriseに移行しました。 Bitrise – Mobile Continuous Integration and Delivery Android Test Night #1 というイベントでもLTをしましたので、そちらのスライドも参考にしていただ