Handling Flaky Tests at Scale: Auto Detection & Suppression - Slack Engineering
At Slack, the goal of the Mobile Developer Experience Team (DevXp) is to empower developers to ship code with confidence while enjoying a pleasant and productive engineering experience. We use metrics and surveys to measure productivity and developer experience, such as developer sentiment, CI stability, time to merge (TTM), and test failure rate. The DevXp team has continuously invested in test i
フロントエンド（React Testing Library）で TDD（テスト駆動開発）をする
私はフロントエンドエンジニアとして働いてはいるのですが、巡り合わせが悪いのでしょうか？まともなテストを書いたことがないんですよね。まあ、それもでテストくらい書けないとなぁ。なんて思ってはちょいちょい調べたりする日々を過ごしていました。 そんなある日、たまたま TDD（テスト駆動開発） についての動画を視聴してみました。 TDD 自体は知ってはいて、なんとなく知っているくらいの知識ではありましたが、分かりやすい説明とその思想が好きで、のめり込むように見てしまいました。 その後も何度か視聴して、フロントエンドでも TDD したいなと考え始めました。 普段テストすら書いていないのにいきなり TDD とも思わないこともなかったですが、実際に普段自分がさわっているようなコードに落とし込んで書いていくと、テストする本当の意味というものが、より正確に理解できてきたような気がします。 そんなテスト初心者の
Cloud Functions をローカル環境で統合テスト可能にした話 | BLOG - DeNA Engineering
はじめまして。AIシステム部MLエンジニアリンググループ で学生インターンをしている 早坂( @takemioIO ) です。 普段はパケット処理などをやっているのですが、縁あってここでは MLOps の通常業務に携わっております。 私は二ヶ月間インターンとして開発に取り組んでいました。ここではその実装物の一つを紹介します。 この AI システム部 のとあるプロジェクトでは、 Cloud Functions と Cloud Pub/Sub を利用したデータパイプライン を構築しております。 そのプロジェクトは毎日のように変更が取り込まれ、非常に開発が盛んですが一方それゆえに破壊的な変更で足を撃ち抜いてしまいそれによって悩まされることがありました。 さらにはクラウドサービスを利用してるという部分からローカルでの検証環境がありませんでしたので、毎回 GCP に デプロイするしかなく、トライアン
Instrumenting Firebase Test Lab
Instrumenting Firebase Test Lab Automated testing with Firebase Test Lab at Square At Square, we rely heavily on automated testing to ensure that our applications work well. Our Point of Sale Android codebase is just shy of 1.5 million lines of code, and we run about 6000 Android instrumentation tests on Firebase Test Lab on every pull request to prevent regressions. This gives our engineers the
Better Android Testing at Airbnb, Part 7
In the seventh and final installment of our series on Android Testing at Airbnb, we dive into our CI setup and share closing thoughts on where we are going next. In previous articles we’ve looked at Airbnb’s product architecture, the mocking system we built for it, and how this ecosystem enables us to run automated tests on our features. One notable missing piece though has been a discussion of ho
ReportPortal test automation analytics platform and real-time reporting, powered by Machine Learning
CIとTest Sizesの話 - asterisc
はじめに 前回 akito0107.hatenablog.com どちらかというとこっちが本編。 前回の記事ではTest Sizesについて紹介したが、今回の記事はその分類が実際の開発にどう役に立っているのかをまとめたいと思う。もちろん用語の統一も大きな意味を持つが、それ以外のことを書いていきたい。 具体的には、CIでテストのパイプラインを組む時にこの分類どおりに組んでいくと綺麗に整理でき、CI全体のスループット向上にも効果がでているという話だ。今回の話は僕たちのチームに特化した内容になるが、1) Test SizesごとにTestの起動コマンドを分ける、 2) Smallから順に実行していき、落ちるべきテストはできるだけ早期に落とす、というポイントはどこにでも使えるものだと思う。 コンテナ技術とテスト 僕たちはローカルの開発環境だけではなく、本番環境やCI環境でコンテナ技術（主にDock
Kyash Android で UIテストを導入した時の方針 - Konifar's WIP
先日、Kyash のAndroidアプリのUIテストをEspressoで書いてCIで回すようにしました。 ユーザー登録、ログイン、カード登録のテストが、毎晩元気に走っています。 きっかけはKPTです。iOSでログイン直後に発生するユニットテストでは気づけない問題が見つかり、 Problem として上がってきました。 テストケースを15項目くらいSpreadSheetにまとめていて大きなリリースの時は手動で確認していたのですが、なぜか「今回はやらないで大丈夫」と判断した時に限ってバグが発生するんですよね。また、手動のテストケースはミスや形骸化しやすいので、 Try としてテストケースの一部を自動化してみることにしたのでした。 Espressoでテストを書く時は、@sumio_tymさんの素晴らしい資料があるので、下記2つを読んでおけば間違いないと思います*1。 DroidKaigi2017
DroidKaigi 2018で「UIテストの実行時間を短縮させる方法」というタイトルで登壇してきました(edited)
DroidKaigi 2018の2日目の最後のセッションで「UIテストの実行時間を短縮させる方法」というタイトルで登壇してきました。 本稿では、発表資料の軽い補足情報や登壇についての振り返りを書きたいと思います。 発表資料は以下になります。実は当日使ったものと多少違っていて、異なる点は宣伝(Android Test Nightがあるよという告知)がない点と微妙な文言の違いがあります。 動画が公開されるかと思いますが、周りの人の様子を見つつ歩きながら登壇するタイプなので、動画だと見づらいかもしれないのでご注意ください。 ※なお、登壇用の原稿はないのでその情報は載せることが出来ません(事前に発表練習はするのですが、文字起こしはしてはいません)。 そもそもUIテストをテーマにしたことについて今回UIテストをテーマにしたのは、そもそもとしてUIテストに関する知見が全般的に少ないからというのがありま
An Overview of JavaScript Testing in 2020
(Updated on: 21.11.2021) This guide is intended to catch you up with the most important reasoning, terms, tools, and approaches to JavaScript testing for the year 2022. It combines information from the best articles recently released (they are referenced at the bottom) and adds from my own experience. It’s a little long but whoever reads and understands this guide, can safely assume they know the
DroidKaigi2017 - 変更に強いEspressoテストコードを効率良く書こう / DroidKaigi2017 - Let's Write Sustainable Espresso Test Rapidly
DroidKaigi 2017で発表した 「変更に強いEspressoテストコードを効率良く書こう」(3/9 16:00-16:50 ＠ Room4) のスライドです。 ライブコーディングが含まれますので、ビデオも合わせてご覧ください。 https://goo.gl/iKJcmg 実演に利用するサンプルアプリのソースコードは、以下より入手してください。 https://github.com/sumio/espresso-sample-for-droidkaigi2017 また、発表中に紹介したユーティリティメソッドだけを切りだしたものは、こちらから入手できます。 https://github.com/sumio/espresso-commons
About RSpec HTML Reporter | Mercari Engineering
Hello everyone! @vishal from Mercari’s SET team. This is the 12th entry for Mercari Advent Calendar. In this blog post, I will talk about rspec_html_reporter which is being used for Android E2E test automation at Mercari. Role of Test Reports in Mobile E2E Test Automation Test report is the end result of test automation execution. This is the only source of truth once test execution is finished. I
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
明日からはじめるテストのあるフロントエンド開発 ~ テスティングトロフィー ~
VRT in Action
Cloud Functions for Firebase expands to include Firebase Test Lab results
「質」のいいユニットテストを書くためのプラクティス / practices to write better unit test
GitHub - reg-viz/reg-suit: :recycle: Visual Regression Testing tool