まえおき playwright-pytest を使ってE2Eテストを始める方法については、以前に以下の記事で紹介した。 ここでは、失敗時の画面キャプチャを撮る方法までは書いたが、実際に自動試験スクリプトを書いていると「どうしてそうなった?!」と思うことが稀によくある。(しかも、そんなテストに限って、じっと見張っていると何回やってもpassしたりするw) 不毛すぎるので、見張らなくてもいいようにエビデンス動画を残しておきたいと思うのがエンジニアである。 playwright-pythonで動画を撮る方法 playwright-python には、自動操作中の動画を記録する機能がある。 以下の記事でも言及されているように、 browser.new_context() もしくは browser.new_page() の引数に record_video_dir: ./videos/ のように指定す
Playwright (TypeScript版)は microsoft/folio ベースのplaywright-testという独自フレームワークを使うが、playwright-pythonにはPyTest用のプラグインがある。 Pytest plugin for Playwright https://github.com/microsoft/playwright-pytest Getting Started! macOSであれば playwright-pythonのインストール
ブラウザの自動操作にPuppeteerを利用しているが、試しにPlaywrightを使ってみたら良いと思う点が多かったのでまとめた。正直な感想を言うと、「ほぼ上位互換では?」と思うくらいには良い点が多かったし、悪い点は見つからなかった。同じ作者の後発なだけはある。 なお、Puppeteer歴1年、Playwright歴1日で書いているので、変な箇所があればご指摘ください。 利用バージョン Puppeteer : 5.5.0 5.4.1 Playwright : 1.8.0 便利だと思った点 とても柔軟なselector Puppeteerはpage.$x()など一部でXPath selector が利用できるものの、page.click()やpage.$eval()など多くの関数ではCSS selectorしか利用できなかった。 しかし、Playwrightでは、selectorを利用する
日々いろいろなWebサイトの制作や修正を対応していく中で、修正したページとは関係ない(と思っていた)ページで表示が崩れてしまったことってありませんか? 私はたびたび経験があります。 毎回目視で全ページをチェックすれば防げるのかもしれませんが、それは現実的ではありません。 自動で全ページをチェックしてくれて不具合があれば教えてくれる、そんな便利なツールがあればと何度も思いました。 どうやら現代の技術でそれは作れるみたいです。ビジュアルリグレッションテストというらしいです。 ビジュアルリグレッションテストとは ざっくりいうと「見た目の比較」をするテストのことです。 変更前のWebサイトのスクリーンショットを用意しておき、変更後のスクリーンショットを撮り比較することで、どこが変わったか差分を表示し確認することができます。 どうやって使うの ビジュアルリグレッションテストを導入するための方法はいく
modules: jmeter: version: 5.4.1 # ここに書いてあるバージョンを勝手にダウンロードしてくれる properties: log_level.JMeter: WARN log_level.JMeter.threads: WARN system-properties: org.apache.commons.logging.simplelog.log.org.apache.http: WARN 既存ツールのラッパーとして動作 デフォルトでは内部的にJmeterが実行されますが、以下のようなツールで作成されたスクリプトを流用することが可能です。 JMeter Gatling Locust Selenium Vegeta つまり、さきほどはYAMLでシナリオが記述可能とは言いましたが、もちろん既存のスクリプトを流用できるってことです。 いままで作り上げてきたスクリプトや
こんにちは!フロントエンドエキスパートチームの @mugi_uno です。 みなさんは Visual Regression Test は普段活用していますか? 昨今では事例もよく耳にするようになった印象です。一度使って手放せなくなった方もいるのではないでしょうか。 今回の記事では、通常のプロダクト新規開発とは異なる “脱レガシー” の文脈で Playwright を用いた簡易的な Visual Regression Test を試してみたので、導入に至る経緯と、どのように実施しているかを紹介します。 フロントエンドリアーキテクチャとサイレントリリース 現在サイボウズでは kintone のフロントエンドリアーキテクチャプロジェクトと称して、Closure Tools から React への脱レガシー作業が進行中です。プロジェクトの詳細については @koba04 が書いた次の記事をご覧くださ
概要 試験工程をスプレッドシートで管理していたがそろそろ脱却したいと思ったので色々探してみました。 すると、同じことを考えている先駆者さんがいらっしゃったので参考にさせていただきました! 導入に至った経緯 QA体制が未成熟 3名までなら無料で利用できる テスト計画・テスト結果をエクスポートできる 入力項目が整理されているので試験表の質を一定にできる 自動化したテストケースを管理できる 手動テストと自動テストの結果を併せて一覧できる APIにより自動テストの実行結果を自動的に反映することができる etc これは、中々良いツールなんじゃないか!? ということで導入してみました 実際の導入方法を説明していきます 事前準備 以下からサインアップしてください サインアップ完了後、ダッシュボードに遷移した状態からスタートとします それぞれの設定方法は以下を参照してください 新しいプロジェクトを作成 プ
「偉大な書籍は偉大な出だしで始まる。ケント・ベック著『テスト駆動開発』(2003, 2017)はこう始まります。 「動作するきれいなコード」。Ron Jeffriesのこの簡潔な言葉が、テスト駆動開発(TDD)のゴールだ。 」 テスト駆動開発エバンジェリストとして活躍している、和田卓人さん(t_wada)の講演より引用 セミナー講師やアジャイルコーチの立場で、私もTDDを教えることがよくあります。そんなときはこの言葉を意識しつつ、TDDはあくまでスキル、手法のひとつに過ぎず、本当に求めるべきは動作するきれいなコードなのだと、伝えるようにしています。そのことを説明する補助として、こんな図を作りました。 絵を描いてみて気づいたのですが、「動作する(Works)」には2つの側面があります。書いたコードが、書いたつもりの通りに動くこと(Verification)と、期待に応えて働き実際に役立つこと
Azure Load Testingを使って、GitHub Actionsで負荷テストをおこなってみた いわさです。 本記事はQiita Azure Advent Calendar 2021 10日目の記事です。 re:Invent2021の最中、Azureではなかなか熱いサービス「Azure Load Testing」がプレビューで登場しましたよ。 一言でいうとAzureフルマネージドなJMeterサービスです。 本日はこちらを触ってみたのと、マネージドサービスということもあってCI/CDワークフローに簡単に組み込めるようになったので、本日はGitHub Actionsで実行してみました。 本サービスは、本日時点でパブリックプレビューです。今後仕様が変わる可能性があります。 Azure Load Testingとは Azureでホストされる、マネージドな負荷テストサービスです。 Apac
プログラマーのジュリア・エバンスさんが、DNSを使った実験が行えるサイト「mess with dns」を公開しています。 mess with dns https://messwithdns.net/ New tool: Mess with DNS! https://jvns.ca/blog/2021/12/15/mess-with-dns/ DNSを用いた実験には「DNSレコードを作成することに抵抗がある、あるいはドメインを持っていない」「DNSクエリが見えないため何が起こっているのかを理解するのが難しい」「どういった実験を行うべきかわからない」といった問題があります。こういった問題を解消し、実際にどのような実験を行えばいいかを例示しながらDNSの動作を学ぶことができるというのが、「mess with dns」です。mess with dnsでは用意するのが面倒なドメインがあらかじめ用意さ
はじめに こんにちは。DeSCヘルスケアシステム部でインターンをしている中島です。本記事では開発に関わった2つのサービス「ハレトケ」「カラダモ」の負荷テストで得た知見について紹介したいと思います。 負荷テストをこれからやる方や、システムのパフォーマンスチューニングに興味のある方などの参考になると嬉しいです。 負荷テストの目的 まず、負荷テストをどのような目的でやるのかについて抑えておきます。一般的にクラウド環境での負荷テストの目的は以下の5つが挙げられます。(出典:Amazon Web Services負荷試験入門 ――クラウドの性能の引き出し方がわかる Software Design plusシリーズ) 各種ユースケースの応答性能を推測する 高負荷時の性能改善を行う 目的の性能を提供することができるハードウェアをあらかじめ選定する システムがスケール性を持つことを確認する システムのスケ
最初に少しイベントの宣伝 こんにちは。金谷です。 Software Designに連載させていただいております「Pythonモダン化計画」は、前半の4回で、それぞれの局面に合ったテスト手法を用いることで変更容易性を確保する話をしてきました。 前半の4回すべてに出てきたツールにJenkinsさんがいて、何らかのかたちで自動化されています。 モノタロウにおけるモダン化計画に不可欠な存在のJenkinsさん。 なんとこのたび、Jenkins Day Japan 2021というイベントで、Jenkinsの活用事例を発表させていただくことになりました。 「モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例」という内容で金谷が発表させていただきます。 詳細とお申込みは、下記のURLからご覧ください。 cloudbees.techmatrix.jp では本題に入ります。 本記事の初出は、
Mockito や gomock が使いやすいせいか、単体テストというのはモックするものである、という思い込みがあるのか、人々がモックしすぎているのを時折みかける。 モックは必要悪で、しないにこしたことはない。外部の API サーバーとかはガンガン叩くわけにもいかないけれど、ファイル読み書きくらいは、実際にファイルを作ったり消したりしてしまっていい。/etc/passwd を消すとか、1GB のファイルを作るとかだと難しいかもしれないけれど、その場合でも、パスのプレフィックスを指定できるようにして、一時ディレクトリの中の etc/passwd を使うとか、ファイルサイズを指定できるようにするとか、逃げ道はいくつもある。そこを飛ばして「ファイル操作は一律モックしましょう」とか頑張りだすと辛いことになりがちだ。 モックの一番の問題は、本番とテストで違うコードが走ることで、これは自動テストの価値
株式会社ユーザーローカルは、開発者向けにシステム試験用の疑似個人情報データをワンクリックで自動生成できる「個人情報テストデータジェネレーター」を無償で提供開始した。本ジェネレーターは大量のダミーデータをすぐに生成し、システム開発における品質検査やセキュリティチェックに利用できる。 システム開発時には、本番運用を開始する前に動作テストやセキュリティチェックの実施が不可欠になる。しかし、実際の会員情報でチェックすることは危険なためダミーのデータを使ってテストを実施するが、ダミーデータ作成には大きな手間がかかる。 そこで、ユーザーローカルは、実在データと同品質のテストデータを大量に自動生成する「個人情報テストデータジェネレーター」を無償提供したという。個人情報は1度の生成で1万行(1万人)分まで対応しており、それ以上生成したい場合は問い合わせる必要がある。実データに極めて近い品質のデータを生成可
人工知能(AI)を用いた画像認識モデルは、写真や映像の中に映り込む物体を正確に識別することを目的としたもので、自動運転車の外界認識機能などさまざまなものに応用されています。例えば自動運転車の場合、画像認識モデルの物体認識精度は自動運転車の安全性に直結してくるため、モデルの学習に使用するデータセットは非常に重要な役割を担うこととなります。そこで、マサチューセッツ工科大学(MIT)とIBMの研究者チームは、多種多様な物体を含んだ画像認識モデル向けのデータセット「ObjectNet」を作成しています。 This object-recognition dataset stumped the world’s best computer vision models | MIT News https://news.mit.edu/2019/object-recognition-dataset-stump
ユーザーローカルが、ダミーの氏名・住所などの個人情報を自動生成するWebサービス「個人情報テストデータジェネレーター」の無償提供を始めた。最大1万行を生成し、CSV形式のファイルなどでダウンロードできる。システム開発時の動作テストやセキュリティチェックなどに使えるという。 生成できるのは、氏名や年齢、生年月日、性別、血液型、メールアドレス、電話番号、郵便番号、住所、会社名、クレジットカード番号と期限、マイナンバーの情報。氏名は漢字・平仮名・片仮名・ローマ字などを選択でき、年齢は「20~80歳」など指定した範囲を基に日本の人口比に合わせて出力できる。 データはCSV・TSV形式かExcelファイルでダウンロードできる。生成するデータ数は1件単位で設定できるが、1万行以上はユーザーローカルへの問い合わせが必要だ。 同社はシステム開発時のセキュリティチェックなどに使うダミーデータの作成に手間がか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く