こんにちは。QAチームのmiyagiです。 QAチームで活用しているテスト自動化ツール「MagicPod」と、テスト管理ツール「TestRail」を連携させ、自動テストの結果入力をJenkinsで自動化しました。 この記事では、連携に必要な環境構築や手順について紹介します。 Jenkins MagicPodとTestRailについて 自動化の手順 実行するテストケースとテスト実行設定の準備 PythonスクリプトとAPI利用の準備 APIキーの発行 Pythonスクリプトのカスタマイズ Jenkinsの準備 Jenkinsのパイプラインの設定 実行した結果 Jenkins MagicPod TestRail まとめ MagicPodとTestRailについて MagicPodはUIテスト自動化ツールで、Gunosyでは回帰テストの一部を自動化して実行しています。テスト管理ツールであるTes
Improved Cloudflare Workers testing via Vitest and workerd
Improved Cloudflare Workers testing via Vitest and workerd03/15/2024 This post is also available in Español. Today, we’re excited to announce a new Workers Vitest integration - allowing you to write unit and integration tests via the popular testing framework, Vitest, that execute directly in our runtime, workerd! This integration provides you with the ability to test anything related to your Work
How to Determine OKRs for Software Quality Assurance
Image by DALL·E 3When you come across the terms ‘Software Quality Assurance’ or ‘Application Tester’, what immediately comes to mind is probably someone who is responsible for ensuring there are no bugs in an application. While this is true, but have you ever wondered about the ins and outs of their goals? What specific targets do they need to achieve? How they measure it? Let’s explore and delve
GitHub - kubeshop/tracetest: 🔭 Tracetest - Build integration and end-to-end tests in minutes, instead of days, using OpenTelemetry and trace-based testing.
Tracetest lets you build integration and end-to-end tests 98% faster with distributed traces. No plumbing, no mocks, no fakes. Test against real data. You can: Assert against both the response and trace data at every point of a request transaction. Assert on the timing of trace spans. Eg. A database span executes within 100ms. Wildcard assertions across common types of activities. Eg. All gRPC ret
GitHub - guidepup/virtual-screen-reader: Virtual Screen Reader is a screen reader simulator for unit tests.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - maelstrom-software/maelstrom: Maelstrom is a fast Rust and Python test runner that runs every test in its own container. Tests are either run locally or distributed to a clustered job runner.
Maelstrom is a suite of tools for running tests in hermetic micro-containers locally on your machine or distributed across arbitrarily large clusters. Maelstrom currently has test runners for Rust and Python, with more on the way. You might use Maelstrom to run your tests because: It's easy. Maelstrom provides drop-in replacements for cargo test and pytest. In most cases, it just works with your e
Vitest 2.0 is here! This release page lists all changes made to the project during the beta. For the migration guide, please refer to the documentation. 🚨 Breaking Changes Simplify mock function generic types and align with jest - by @hi-ogawa in #4784 (a0c1d37) Remove --segfault-retry - by @sheremet-va in #5514 (ed60e) This flag was introduced to combat threads segfaults. Our current recommendat
The sad state of property-based testing libraries Posted on Jul 2, 2024 Property-based testing is a rare example of academic research that has made it to the mainstream in less than 30 years. Under the slogan “don’t write tests, generate them” property-based testing has gained support from a diverse group of programming language communities. In fact, the Wikipedia page of the original property-bas
Developers Summit 2023 Summerでテスト自動化アーキテクチャについて発表してきました - カカクコムTechBlog
システム本部デベロッパーエクスペリエンス室のQAエンジニア、伊藤由貴（@yoshikiito）です。 7/27に開催されたDevelopers Summit 2023 Summerにて、アーキテクチャで理解するテスト自動化システムという発表をしました。私の所属するシステム本部ではmablをテスト自動化に活用しています。今回はそのmabl社のおだしょーさんよりお誘いいただきまして、mablさんの枠で一緒にお話してきました。 タイムテーブル上では「満員」表示が出ており、けっこう注目していただけたのではと思っています！ 発表の概要 デブサミ公式に掲載した文面がこちら。 システムテストの自動化を行うには、単純にツールを選ぶだけではなく、テスト自動化の仕組み自体をシステムとして捉え、設計することが必要です。 そのための材料として、テスト自動化アーキテクチャがあります。 本セッションでは、テスト自動化
testコマンドで実行するとビルド→実行→終了→ビルド→実行→終了のように、動作確認で実行するたびに毎回ビルドが発生するので待ち時間が発生します。 実装完了したテストを実行するときはこれで良いのですが、実装中は効率が悪いです。 flutter runコマンドを使うとshift+rでホットリスタートが使えるので爆速で実行できます。 2. 非同期処理用の描画待ち関数を用意する 標準で描画待ち用の関数 ( tester.pumpAndSettle() )がありますが、万能ではありません。この関数は指定された秒数（デフォルは100ミリ秒）ごとに画面を確認し、描画待ちのものがなくなるまで待つという動作をします。 通常の画面描画であれば良いのですが、DBからのデータ取得や複雑な処理など時間がかかる非同期処理によって画面が更新された場合に対応できません。 DBからの取得は毎回必ず早いとは限らないので、t
Visual Regression Testを導入して、手間と時間を節約した話 - SmartHR Tech Blog
こんにちは！SmartHRで人事評価機能の開発を担当している、エンジニアのkanekoです。Visual Regression Testを導入して、安心・安全にUIライブラリのアップデートやリファクタが行える環境を整備したので、その取り組みをご紹介します。 「Visual Regression Test 」とは変更前と変更後のコードで対象画面のスナップショットを比較することで、発生したUIの差分を検知して、見た目のリグレッションが発生していないかを検証するフロントエンドのテスト手法の一種です。 差分検知のイメージ Visual Regression Testを導入するに至った経緯 チームの課題感 私達のチームでは、意図しないレイアウト崩れなどの確認にかなりの手間と時間を取られる問題に悩まされていました。 外部ライブラリをRenovateを使って自動更新するようにしているのですが、リリース前
レガシーコードと出会ったときにどう振る舞うか - nunulkのプログラミング徒然日記
この記事について 「レガシーコード」とは、「保守または拡張が困難な既存のプロジェクト」（レガシーソフトウェア改善ガイドにおける定義を流用）で書かれたコードを指します。場合によっては難解なコードに対する悪意を込めて「クソコード」などと呼ばれたりしますが、個人的にはこの名前が好きになれないので、本記事ではそういう含意があったとしても「レガシーコード」で統一します。 というわけで本記事では、レガシーコードに出会ったときに自分がこれまでどう振る舞ってきたか、これからどう振る舞っていきたいか、について備忘録がてらまとめておこうと思います。 レガシーコードとは legacy という言葉の一般的な意味（遺産）が示すように、レガシープロジェクトは通常、前の開発者またはチームから引き継がれる。言い換えると、そのコードを最初に書いた人々と、いまそれを保守している人々は、同じではない。それどころか、間に何世代も
Riverpod 2.4 のテストにおけるモック
Riverpod 1.0.3 から Riverpod 2.4にマイグレーションした時に test の書き味が少し変わっていることで戸惑ってしまったため書き残しておく Riverpod 2.0 で一部 Provider の overrideWithValue が撤去されて、代わりにoverrideWithProvider を利用することになった Riverpod 2.1 では overrideWithProvider が deprecated になり、代わりに追加されたのが provider.overrideWith((ref) => state) overrideWithValue が撤去されたのは一時的である(This change is temporary)とされている... 初期の頃のように state の mock が一律 overrideWithValue でできればテストが書き
TotT 98 GTAC 61 James Whittaker 42 Misko Hevery 32 Anthony Vallone 27 Code Health 27 Patrick Copeland 23 Jobs 18 Andrew Trenk 12 C++ 11 Patrik Höglund 8 JavaScript 7 Allen Hutchison 6 George Pirocanac 6 Zhanyong Wan 6 Harry Robinson 5 Java 5 Julian Harty 5 Alberto Savoia 4 Ben Yu 4 Erik Kuefler 4 Philip Zembrod 4 Shyam Seshadri 4 Adam Bender 3 Chrome 3 Dillon Bly 3 John Thomas 3 Lesley Katzen 3 Ma
Optimize Azure Functions for Performance and Costs using Azure Load Testing
Azure Functions is a serverless computing platform that allows you to run code without having to manage infrastructure, servers, or operating systems. You focus on the code that matters most to you, in the most productive language for you, and Azure Functions handles the rest. As applications grow, so do the costs and performance requirements. Finding the optimal balance between cost and performan
Today we are introducing Quartz, a mocking library in Go for testing code that depends on time. By mocking out calls that query or depend on the real time, we can write unit tests that are repeatable, deterministic, and execute as quickly as the CPU allows. This is, in itself, not a new idea. In building Quartz, we took some inspiration from: github.com/benbjohnson/clock Tailscale's tstest.Clock g
こんにちは！タレントマネジメント領域のプロダクトマネージャーをしているyaccoです。 1年9ヶ月前にSmartHRに入社して以来、可愛い3人の子供たちの子育てと同じように、笑いあり涙ありのプロダクト育ての日々を送っています。 この記事は「SmartHRのプロダクトマネージャー全員でブログ書く2024」への参加記事です。25人が持ち回りで毎週記事を投稿します。ぜひご覧ください！ 今日は、入社して最初に担当した「組織図」と「カスタム社員名簿」の二つのプロダクトの統廃合の話と、その最終判断のために取り組んだユーザビリティテストについてご紹介します。 実は、カスタム社員名簿は去る2月に開発を停止しており、4月には機能そのものが完全に廃止されます（このブログの公開後間もなくです）。 二つのプロダクトの統廃合の背景 組織図はその名のとおりのプロダクトで、SmartHRに登録された従業員情報をもとに簡
Flutterのユニットテスト、ウィジェットテスト、インテグレーションテスト(エミュレータを使ったテスト)をGithub Actionsで実行する方法についてです。 対象のディレクトリ構成 (rootディレクトリ) test ユニットテスト、ウィジェットテストのテストコード test_driver app.dart インテグレーションテストのテストコード .github workflows flutter_test.yaml flutter_integration_test.yaml 他Flutterアプリのプロジェクトファイル ユニットテスト、ウィジェットテストのワークフロー 上記ディレクトリファイルにて、testディレクトリのユニットテスト、ウィジェットテストをGithub Actionsで実行する場合、次のようなワークフロー定義ファイルflutter_test.yamlを作成します。
YUMEMI Flutter Advent Calendar 2023の23日目の記事です。 Robotパターンはソフトウェアテストの手法の一つで、ユーザーのアクションを一連の手順としてカプセル化し、それを再利用可能なクラスとして定義します。これにより、アプリケーションとのユーザーインタラクションを効率的にシミュレートし、テストすることが可能になります。これはアプリケーションの品質を向上させるのに役立ちます。 この記事では、Robotパターンと私が開発したRobotライブラリーについて紹介します。このライブラリーは、RobotパターンをFlutterで利用するためのもので、各ウィジェットのテストを行うためのRobotクラスを作成することができます。Robotライブラリーを使用することで、テストの再利用性と効率性を向上させ、結果的にアプリケーションの品質を向上させることができます。 Robo
忘れそうなので、メモ代わりに記事を残しておく。 それぞれの手順は、ググれば出てくるので詳細は割愛。 Google Play デベロッパーアカウントを作成 Google Play Console の編集 UnityでAppBundleをビルドする リリースを作成し、App Bundleのアップロード 実機でテストを行う場合 Google Play デベロッパーアカウントを作成 公式ドキュメントを参照。 Play Console の使用方法 - Play Console ヘルプ 作成すると、Googleアカウント（～@gmail.com）でログインできる。 なお、アカウント登録に2500円掛かる。クレジットカード支払い可能。 デベロッパーアカウント一つに、複数のGoogleアカウントでログインすることもできるので、例えばチームでアプリを作成する場合、デベロッパーアカウントは一つ作成しておけば良
Table-driven tests in Go is the officially recommended way to write multiple tests for some function, which may produce different outputs for different inputs. See this article, which explains the advantages of table-driven tests over function-based tests. The main advantage is that you don’t need to copy the same code, which prepares inputs for the tested function, calls the tested function and t
はじめに フロントエンド開発において、効率的かつ一貫性のあるモック生成は非常に重要です。本記事では TypeSpec、Orval、Storybook の 3 つのツールを使用して自動生成でモックを実現する方法を紹介します。 TypeSpec は、大規模な API を提供するために Microsoft が開発し、使用している新しい API 記述言語です。 Orval は、OpenAPI 仕様から TypeScript のクライアントコードを生成するツールです。これにより、最新の API 仕様に基づいたクライアントコードを常に保持し、API との通信がスムーズに行えるようになります。 Storybook は、コンポーネントを独立して開発・テストするためのインタラクティブなツールです。コンポーネントの見た目や動作を個別に確認できるため、UI の一貫性を保ちながら効率的に開発を進めることができます
Page object models | Playwright
Introduction Large test suites can be structured to optimize ease of authoring and maintenance. Page object models are one such approach to structure your test suite. A page object represents a part of your web application. An e-commerce web application might have a home page, a listings page and a checkout page. Each of them can be represented by page object models. Page objects simplify authori
🚀 Features Support standalone mode - by @sheremet-va in #5565 (bdce0) Custom "snapshotEnvironment" option - by @sheremet-va in #5449 (30f72) benchmark: Support comparing benchmark result - by @hi-ogawa and @sheremet-va in #5398 (f8d3d) browser: Allow injecting scripts - by @sheremet-va in #5656 (21e58) reporter: Support includeConsoleOutput and addFileAttribute in junit - by @hi-ogawa i
概要 どうも、@daiki1003です！ みなさん、テストしていますか？ プロジェクトがある程度の規模感になると、単体テストはほぼ必須になってくるかなと思います。 そして単体テストに力を入れていれば、CIにも組み入れていることでしょう。 でも、Flutterのテストって地味に時間かかりませんか？ そこで本記事ではFlutterのテストを高速化できる方法を解説していきたいと思います。 それでは行ってみましょー！ どんな黒魔術を使うの？ これからさぞすごいことが行われるのだろう？と胸を躍らせているかもしれないのですが至ってシンプル。 very_good_cli | Dart packageを導入するだけです。 very_good_cliを導入してみよう パッケージとして存在していますが、特に依存パッケージとして追加する必要はありません。 $ dart pub global activate v
書籍『ソフトウェアテスト293の鉄則』の素晴らしいところ - CAT GETTING OUT OF A BAG
書籍『ソフトウェアテスト293の鉄則』を愛読しているソフトウェア開発者、特にテスターはたくさんいると思います。「まえがき」が本当に素晴らしいよね。 標準化されたドキュメントに現場での知恵が収められているとは考えないほうがよい。 本書は、ソフトウェアテストについての総合的なガイドブックではないし、解答集でもない。 本書は、ベストプラクティスを集めたものではない。著者たちは "ベストプラクティス" というものを信頼しない。 どんな場合においても等しくソフトウェアテストやソフトウェア工学のパラダイムが受け入れられるなどとは到底信じられない。 これこれ、これですよ。著者たちの何事にも疑いの目を持つその姿勢がテストを体現してるしテスターらしいなと思う。疑うだけじゃないよ。それであなたはどう考えるのか、あなたの状況に適用して実践し、評価してほしい。あなたの開発の現場ではもっと良い方法、手法があるはずだ
Release v2.3.0 · mswjs/msw
Warning This release changes how MSW treats unhandled exceptions in response resolvers. Previously, they were treated as request errors. Starting with this release, unhandled resolver exceptions will be coerced to 500 Unhandled Exception mocked error responses produced by the library. Please note that you must not intentionally throw errors in your resolvers. Please use Response.error() to mock re
Getting started with UI testing .NET MAUI apps using Appium - .NET Blog
Testing is a crucial part of software development to ensure the quality of your application. While there are many forms of testing, one that is particularly popular is user-interface testing, also known as UI testing. In this blog post we will have a look at how to get started with UI testing your .NET MAUI app, on mobile and desktop, by using Appium. What is Appium? Appium is a UI testing framewo
Launch VS Code Quick Open (Ctrl+P), paste the following command, and press enter. Vitest extension for Visual Studio Code. Available on Visual Studio Marketplace. Features Run, debug, and watch Vitest tests in Visual Studio Code. NX support (see the NX sample). An @open tag can be used when filtering tests, to only show the tests open in the editor. Requirements Visual Studio Code version >= 1.77.
LLM engineering involves much more than just prompt design or prompt engineering. In this article, we share a set of engineering practices that helped us deliver a prototype LLM application rapidly and reliably in a recent project. We'll share techniques for automated testing and adversarial testing of LLM applications, refactoring, as well as considerations for architecting LLM applications and r
GitHub - httpie/desktop: 🚀 HTTPie Desktop — cross-platform API testing client for humans. Painlessly test REST, GraphQL, and HTTP APIs.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Rails7.1でRailsチュートリアルを進める上での変更点 - blog.waterlow.work
ひさしぶりにRailsチュートリアルをやろうと思い、どうせならgem等は最新のもの、使い慣れているものを使おうということですすめていました。 まだ3章しかやっていないのですが、小さくない変更点があったのでまとめます。 RenderのruntimeのデフォルトがDockerに Renderのデプロイ設定を入れる際のruntimeのデフォルトが、rubyではなくDockerになっています。Rails7.1よりproduction向けのDockerfileがrails new時に作成されるようになりました。Renderのランタイムの判定方法としてはDockerfileがあればdockerで起動するアプリケーションだと判断し、なければその他…としているようです。 Dockerのままでも、以前のようにRubyに変更しても問題なくデプロイされました。 テストが落ちたときに詳細なエラーメッセージが出ない
Earlier this year I gave a talk at the John Lewis Partnership Tech Profession Conference 2023 on the topic of automating web accessibility (a11y) testing. In this series I will cover the contents of this talk, kicking off with insights into the Axe suite of tools, followed by articles covering the wider a11y testing landscape: from visual regression testing for magnification and visual deficiencie
以前から興味あったのでやってみた テストやリンターの実行を自動化するCI/CDを以前からやってみたくて、導入してみた。 とはいってもリントのチエックを自動化しただけですね。これだけでも自動化できたら、毎回コマンド入力しなくてもいいから、手間は省ける？ こちらの記事を参考に設定をしました Github Actionsの公式 デフォルトのカウンターアプリに、リントの設定を追加して、自動化するとどんな現象が起きるのかを検証してみた。 今回使用したソースコード プロジェクトに導入する .github/workflowsディレクトリを作成して、その中にcode_quality.ymlを作成する。作成したら、pull requestが作成されて、コミット＆プッシュがされるたびにテストとリントのチェックが自動で実行される設定をする。flutterのバージョンは現在使用しているものを設定してください。 n
🚨 Breaking Changes --merge-reports to support coverage - by @AriPerkkio in #5736 (b7438) Add promise-based return assertions, do not auto-resolve returned promises - by @sheremet-va in #5749 (5f710) Do not exit process if global setup has failed - by @sheremet-va in #5726 (ddb09) 🚀 Features Add browser.ui option - by @sheremet-va in #5771 (a5033) Add median to --output-json - by @Joris
Fixtures | Playwright
Introduction Playwright Test is based on the concept of test fixtures. Test fixtures are used to establish the environment for each test, giving the test everything it needs and nothing else. Test fixtures are isolated between tests. With fixtures, you can group tests based on their meaning, instead of their common setup. Built-in fixtures You have already used test fixtures in your first test.
Broad integration tests | Technology Radar | Thoughtworks
While we applaud a focus on automated testing, we continue to see numerous organizations over-invested in what we believe to be ineffective broad integration tests. As the term "integration test" is ambiguous, we've taken the broad classification from Martin Fowler's bliki entry on the subject which indicates a test that requires live versions of all run-time dependencies. Such a test is obviously
The latest news and insights from Google on security and safety on the Internet
Cherrybomb • BLST Security
< Cherrybomb /> is a CLI tool that helps you avoid undefined user behavior by validating your API specifications and running API security tests. Cherrybomb reads your API spec file (Open API Specification) and validates it for best practices and the OAS specification, then it tests to verify that the API follows the OAS file and tests for common vulnerabilities. The output is a detailed table wit
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MagicPodの自動テストの結果入力を自動化しました - Gunosy Tech Blog
https://www.uber.com/en-JP/blog/simplifying-developer-testing-through-slate/
Release v2.0.0 · vitest-dev/vitest
The sad state of property-based testing libraries
【Flutter】Integration Testを極めるためのテクニック集 - Qiita
Test Failures Should Be Actionable
Introducing Quartz: A Deterministic Time Testing Library for Go
プロダクトの統廃合を支えたユーザビリティテスト - SmartHR Tech Blog
Flutterの自動テストをGithub Actionsで実行する - 千里霧中
FlutterのRobotパターンUIテストライブラリーの解説
UnityアプリをGoogle Playでリリースする方法 - つきくさのぶろぐ
f-tests as a replacement for table-driven tests in Go
TypeSpec、Orval、Storybook を使ってフロントエンドのモック生成を自動化する
Release v1.6.0 · vitest-dev/vitest
Flutterで単体テストの実行時間を86%削減した話をしようか | 技術は熱いうちに打て！
Vitest - Visual Studio Marketplace
Engineering Practices for LLM Application Development
Automating a11y testing: Part 1 — Axe
FlutterにGithub Actionsを導入してみた
Release v2.0.0-beta.5 · vitest-dev/vitest
On Fire Drills and Phishing Tests