Optimizing sample sizes in A/B testing, Part I: General summary · Chris Said
A special thanks to John McDonnell, who came up with the idea for this post. Thanks also to Marika Inhoff and Nelson Ray for comments on an earlier draft. If you’re a data scientist, you’ve surely encountered the question, “How big should this A/B test be?” The standard answer is to do a power analysis, typically aiming for 80% power at \(\alpha\)=5%. But if you think about it, this advice is pret
AWSのテスト技法とPolicy as Code / aws-testing-techniques-and-policy-as-a-code
AWSのテスト技法とPolicy as Code / aws-testing-techniques-and-policy-as-a-code
Ubuntu Weekly Topics 2021年10月1日号impishのFinal BetaとTesting Week（といろいろなバグ）、シェルスクリプトをsnapパッケージにする方法 impishのFinal BetaとTesting Week impishのbetaは無事にリリースされ、Testing Weekと呼ばれる、バグの確認のための週が終わりつつあります。 現時点ではDistUpgradeViewNonInteractiveがInteractiveに動作してしまっていたり、Electronアプリケーションが動かなかったり、特定の環境ではGDM3がクラッシュしていたり、Lubuntuのインストールボタンのキャプションが『21.04』になっていたり、Raspberry PiのデスクトップイメージではHDMI出力が行われなかったり（デスクトップが表示できないデスクトップイメー
Go 1.22リリース連載 vet, log/slog, testing/slogtest | フューチャー技術ブログ
はじめにTIG 真野です。Go1.22連載の6本目です。 Go 1.22のアップデートのツーリングのうち Vet と、ライブラリのマイナーアップデートである log/slog, testing/slogtest を取り上げて紹介します。 アップデートサマリ Vetでループ変数の変数キャプチャを検知しなくなった #63888 Vetで slice1 = append(slice1) の操作を検知するようになりました #63888 Vetで defer で time.Since() が呼ぶ操作を検知するようになりました #60448 Vetで不正な log/slog なキーと値のペアを検知するようになりました #59407 log/slog で SetLogLoggerLevel()が追加されました #62418 testing/slogtestで Run() 関数が追加されサブテストの制御が
Pi 5 Overview The Raspberry Pi 5 model B preserves the credit-card-sized footprint of the previous generations, but crams a bit more functionality into the tiny space, including an RTC, a power button, a separate UART header, a 4-pin fan connector, a PCI Express FPC connector, two dual-purpose CSI/DSI FPC connectors, and four independent USB buses (one to each of the 2x USB 3.0 ports and 2x USB 2.
GitHub Actionsを利用したE2E自動化テストの実現 ～ Achieving E2E Automated Testing with GitHub Actions ～ 利用GitHub Actions实现E2E自动化测试 - スタディサプリ Product Team Blog
こんにちは。スタディサプリのQAチームです。 今回のBlogではスタディサプリで実施している自動化テストの一部の取り組みについて紹介させていただきます。 なお、スタディサプリQAチームの特性を活かし、本記事については日英中３言語で記載します。より多くのオーディエンスに読んで頂ければ嬉しいです。 自動化する動機 まず、なぜ自動化テストを導入するのでしょうか。 1. 新規機能が追加される度に、既存機能への影響を確認するための回帰テストをしなければなりません。 2. 繰り返し同じテストを手動実行することにより、テストコストが増加します。 3. 人間が実施すると、人為的ミスによる不具合の検出漏れが発生してしまう可能性が否定できません。 そのため、品質を担保した上でより早くリリースすることを目的とし自動化を導入しました。 現在の開発およびテストフロー QAが回帰テストの自動化テストスクリプトをGit
LLMアプリケーションのテストに関する決定版ガイド「The Definitive Guide to Testing LLM Applications」の紹介 #LangChain - Generative Agents Tech Blog
ジェネラティブエージェンツの大嶋です。 先日LangChainから、LLMアプリケーションのテストに関する決定版ガイド「The Definitive Guide to Testing LLM Applications」が公開されました。 LangChain公式によるXでのアナウンスはこちらです。 The Definitive Guide to Testing LLM Applications by LangChain Reviewing LLM app responses can be a time-consuming and daunting process, from defining criteria for style and accuracy, to spotting new regressions. After partnering with hundreds of compa
A Practical Guide to Testing in DevOps Japanese EditionDevOpsにおけるテストについて事例を交えて紹介した一冊
Reactを学び始めてコードを書けるようになったので記述したコードのテストを実行してみたいという人を対象にReactでのテスト方法について説明を行っています。 Testing Libraryとは？Jestとは？ Reactでのテストを行う前にテストに利用するライブラリについて説明を行っておきます。 ReactアプリケーションのテストはTesting Library、Jestを利用して行うことができます。Testing LibararyもJestもReactに限定されたライブラリではありません。VueやSvelteを含めた他のフレームワークでも利用することができます。Testing LibararyではReact用のReact Testing Libraryが提供されておりcreate-react-appを利用してReactプロジェクトを作成すると自動でインストールされます。Tesing L
Automated testing will help you write high-quality software in less time, with more confidence, fewer bugs, and without constant manual oversight. Testing JavaScript Applications is a guide to building a comprehensive and reliable JS application testing suite, covering both how to write tests and how JS testing tools work under the hood. You’ll learn from Lucas de Costa, a core contributor to popu
System of a test: Proper browser testing in Ruby on Rails—Martian Chronicles, Evil Martians’ team blog
The Ruby community is passionate about testing. We have plenty of testing libraries, there are hundreds of blog posts on the topic, we even had a dedicated podcast. Hell, the top 3 most downloaded gems are parts of the RSpec testing framework! Rails, I believe, is one of the reasons behind the rise of Ruby testing. The framework makes writing tests as enjoyable as possible. In most situations, fol
Visual Regression Testingで安心できるフロントエンド環境を作る - Sansan Tech Blog
こんにちは。Eight事業部で主にフロントエンドを担当している青山です。 今回はEightのWebフロントエンドコンポーネント集にVisual Regression Testingを導入した事例を紹介します。 他社さんの事例や勉強会を見るに敷居も下がってきているようで、遅ればせながらDX(開発者体験)向上を見据えて環境を構築していきました。 Visual Regression Testing とは Visual Regression Testing (以下、VRT) は日本語で画像回帰テストと呼ばれています。対象の修正前後の画像を比較し、差分がないこと、もしくは差分が正しいことをチェックします。 GUIアプリケーションの場合、最終的にユーザーが触れるのは画面であり、この状態をスナップショットでチェックできるのはとても安心できるものだと思います。 Eightのコンポーネント集 今回導入対象と
こんにちは。icchiiです。 「atama plus」という教育×AIのスタートアップ企業でQAとして働いています 私はオンライン模試を開発しているスクラムチームの中に入ってQAとして動いています。 今回は、Agile Testing（アジャイルテスティング）を開発チーム全体に広めていった話を書いていきます。 といっても、QAチームも最初からAgile Testingを理解していたわけではなく、試行錯誤しながら前に進んできたのでその経緯を含めてお話できればと思っています。 atama plusのQAが気になる方は、ぜひこちらの記事もお読みください。 紹介のスライドもあるのでぜひご覧ください。 Agile Testingにチャレンジしてみる2年前の話になりますが、「実践アジャイルテスト」という書籍を基に、Agile Testingのノウハウを開発プロセスに組み込みはじめました。 というのも
「 Testing the Pipe Gun That Killed the Japanese Prime Minister 日本の首相を殺したパイプ銃の実験」＊YouTubeチャンネル削除動画【日本語字幕なし】＊
公開1日であっと言う間にYouTubeから検閲削除された《Brandon Herrera》さんの動画です。 ＊日本語字幕はありません。 ↓【元動画の概要欄より機械翻訳】 7月8日、安倍晋三元首相が奇妙な武器で攻撃され、ネット上で注目を集めました。 今日は、それを科学的に再現できるかどうか見てみましょう。 《北川 高嗣》氏Facebook投稿より https://www.facebook.com/kitagawa.takashi/posts/pfbid03324PvdF2y6zgf3Z8Py7fAHohEioUbN8YRTHwv5d2A6cMjN8spdTKqgMTp2e5MiwEl?locale=ja_JP ”Testing the Pipe Gun That Killed the Japanese Prime Minister” 再現者、投稿者は、Brandon Herrera チャンネ
Activity/Fragment単位でVisual Regression Testingを実行する
大規模UIKitベースアプリへのTCAの段階的導入/gradual-adoption-of-tca-in-a-large-scale-uikit-based-app
Terraform CI/CD and testing on AWS with the new Terraform Test Framework | Amazon Web Services
AWS DevOps Blog Terraform CI/CD and testing on AWS with the new Terraform Test Framework Introduction Organizations often use Terraform Modules to orchestrate complex resource provisioning and provide a simple interface for developers to enter the required parameters to deploy the desired infrastructure. Modules enable code reuse and provide a method for organizations to standardize deployment of
Playwrightから始めるVisual Regression Testingのススメ by とっと
フロントエンドカンファレンス北海道2024の5分枠で発表した内容です！
Jest + react-testing-library でフロントエンドテストをコツコツ積み上げている話 - コネヒト開発者ブログ
こんにちは。コネヒト歴7ヶ月目のWebエンジニアの古市です。 私の所属するチームではReactで構築されたCMSを開発しています。 Atomic Designに則り、コンポーネントを Atoms/Molecules/Organisms/Pagesの区分で作成しています。このうち、Atoms,Molecules,OrganismsについてはJest+react-testing-libraryの組み合わせで必ずテストを書くようにしています。 今回は実際に書いているテストコードを例に挙げながら、どのような点をテストコードで担保しているか、また、テストを積み重ねるための施策について説明いたします。 具体的なテストコード これは業務で書いているテストコードを抽象化した一例です。 以下のような構造のコンポーネントのテストだとイメージしていただければと思います。 名前が表示される アバター画像が表示され
- Source: CNN " data-fave-thumbnails="{"big": { "uri": "https://media.cnn.com/api/v1/images/stellar/prod/200312211815-corona-virus-testing-griffin-pkg.jpg?q=x_0,y_0,h_619,w_1100,c_fill/h_540,w_960" }, "small": { "uri": "https://media.cnn.com/api/v1/images/stellar/prod/200312211815-corona-virus-testing-griffin-pkg.jpg?q=x_0,y_0,h_619,w_1100,c_fill/h_540,w_960" } }" data-vr-video="false" data-show-h
Testing a Chinese x86 CPU: A Deep Dive into Zen-based Hygon Dhyana Processors
Testing a Chinese x86 CPU: A Deep Dive into Zen-based Hygon Dhyana Processors In 2016, through a series of joint ventures and created companies, AMD licensed the design of its first generation Zen x86 processors to be sold into China. The goal of this was two-fold: China wanted a ‘home grown’ solution for high-performance x86 compute, and AMD at the time needed a cash injection. The outcome of thi
Pact (Consumer-Driven Contract Testing) を使ってサーバーレスの非同期テストのやりづらさを解決できるか | Slides | Riotz.works
「Serverless Meetup Japan Virtual #4」にて発表した際のスライドです。
GitHub - NorfairKing/sydtest: A modern testing framework for Haskell with good defaults and advanced testing features.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - testing-library/eslint-plugin-testing-library: ESLint plugin to follow best practices and anticipate common mistakes when writing tests with Testing Library
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こんにちは。SWETの瀬戸（@seto_hi）です。 2019年7月下旬からSWETにジョインし、テストが書きにくい設計を改善して自動テストの導入をサポートする取り組みを行っています。 その取り組みの一環として、MOV Androidアプリの設計の改善を進めてきました。 本記事では、2か月間の中で改善した4つの事例について紹介したいと思います。 MOVのAndroidアプリについて DeNAでは MOV というタクシーの配車サービスを運営しています。 今回リファクタリングを行ったのは、アプリのユーザーが配車依頼から支払いまでを行う、アプリの中心となる画面です。 画面構成 画面の構造は下記のようになっています。 常時表示されるActivityと地図Fragmentはシンプルですが、OverlayFragmentの構造がとても複雑な作りとなっています。 OverlayFragmentは20種類
Pyramids, honeycombs, trophies, and the meaning of unit testing There's been a recent resurgence on twitter and the like about how teams should divide up their testing efforts. In particular, Tim Bray argues compellingly in favor of taking automated testing seriously. Anyone familiar with my writing will know that I'm very much in agreement with him. One of the points he raises in his post refers
merpay Tech Talk は、エンジニアたちが集まり、技術的な知見を共有しあうことを目的とした勉強会です。今回は、「全員品質」を目指すメルペイのQAエンジニアたちが日々の取り組みについて話しました。矢尻氏からは『品質保証活動のポリシー』と『ガイドライン』を作成した経緯について発表がありました。 メルペイはカオスな状態から組織がかたち作られる統一期にいる 矢尻 真実氏：今回のセミナーのタイトルにもなっている「全員品質」についてお話しします。初めまして、矢尻 真実と言います。このような大きな規模のセミナーで発言するのは初めてなので、とても緊張しています。ではよろしくお願いします。 まず自己紹介です。メルペイには、2019年の8月に入社して、今2年弱になります。それまでは職を転々としていて、新卒で就いた仕事は、ちょっと珍しい仕事で、神主さんです。ほかにも、大学の職員をしいました。25歳の
Lack of testing doesn’t explain why Japan has so far escaped the worst of the coronavirus
It has been suggested quite widely that the relatively low number of known cases of COVID-19 in Japan is mainly due to the low number of tests for the disease that have been carried out. But looking more closely at the maths shows that this is almost certainly wrong. Japan has experienced a slow growth in the disease relative to other countries despite limited testing. Anyone paying attention to t
Lichee Console 4A RISC-V devkit testing - Part 2: benchmarks and features in Debian 12 - CNX Software
Lichee Console 4A RISC-V devkit testing – Part 2: benchmarks and features in Debian 12 When checking out the hardware of the Lichee Console 4A portable RISC-V development terminal in the first part of the review, I noted that I had some troubles with the display that did not work properly. I did a little massage to “fix” the display, but unsurprisingly it ended up not being a long-term solution. S
Prometheus Meetup Tokyo #4 https://prometheus.connpass.com/event/175547/
SWETグループの平田（@tarappo）です。 10/21（木）にiOS Test TeaTime #3を開催しました。 その時の私の登壇資料は次のとおりです。 資料では不足しているであろう情報もあるので、本稿ではその点も補いつつ説明していきたいと思います。 はじめに SWETメンバーとして、プロジェクトに関わるときは「CI/CDサービス」が問題なく動いているかどうかを確認することはよくあります。 CI/CDサービスが文字通り継続的に動いているのであれば「プロジェクトのコードが手元でも動かせる」「コードの状態がある程度わかる」という状態ともいえます。 そのため、これはプロジェクトの状況を把握してなにをするべきかを判断するためには重要な指標の1つともいえます。 その中で最初にチェックする箇所の例としては、次のようなものがあります。 どのようなことを実行しているか 自動テストがあって実行され
Coronavirus New York: health officials provide limits on testing patients for COVID-19
Coronavirus New York: health officials provide limits on testing patients for COVID-19 NEW YORK -- New York City health officials have directed medical providers to stop testing patients for the coronavirus, except for those sick enough to require hospitalization, saying wider testing is exhausting supplies of protective equipment. In an advisory issued Friday, the health department said outpatien
Integration Testing を改善！Testing Trophy を整形してCI実行速度を5倍に - READYFOR Tech Blog
この記事は「READYFOR Advent Calendar 2021」4日目の記事です。 Calendar for READYFOR Advent Calendar 2021 | Advent Calendar 2021 - Qiita フロントエンドエンジニアの吉井（@Takepepe）です。業務委託で READYFOR さんのお手伝いさせていただくようになってから、早いもので1年半が過ぎました。この期間中、3つの Next.js Application 立ち上げ・リリースに携わらせていただきました。 Cypress x BDD 現在携わらせていただいているのが「フロントエンド基盤SQD」という、READYFORプロダクト全般のフロントエンド課題をシューティングするスクワッドです。このスクワッドでの活動において、私が9月〜11月に取り組んだ課題が「テスト方針の見直し」です。 3つの N
Hermit: Deterministic Linux for Controlled Testing and Software Bug-finding
Hermit: Deterministic Linux for Controlled Testing and Software Bug-finding If you've used emulators for older platforms, you probably experienced a level of precise control over software execution that we lack on contemporary platforms. For example, if you play 8-bit video games emulated on your modern console, you are able to suspend and rewind gameplay, and when you resume, that incoming creatu
Weekly Frontend News 2022年4月3週目/react-testing-libraryにrenderHookが追加、など
Weekly Frontend News 2022年4月3週目/react-testing-libraryにrenderHookが追加、など 寒くなったり暑くなったりして大変ですね。体調にお気をつけて。 自分が今週見たフロントエンド記事のまとめ。 react-testing-libraryにrenderHookの追加、react-hooks-testing-libraryが非推奨へ react-testing-library v13.1でrenderHookが追加された。 これにより、react-hooks-testing-libraryの大部分の機能がカバーされるので、react-hooks-testing-libraryを非推奨としてアーカイブする予定とのこと。 RFC: New Bundler in Gatsby Gatsbyがwebpack以外のバンドラーを模索中とのこと。 さまざ
Vue, Vitest, Testing Library, MSWを使ってテスト駆動開発するチュートリアル - Qiita
Vue, Vitest, Testing Library, MSWを使ってテスト駆動開発するチュートリアルテストVue.jsテスト駆動開発TestingLibraryVitest 今回は以下のライブラリを中心にVueにおけるテスト駆動開発(TDD)の進め方を説明します。 Vue3 Vitest Testing Library Mock Service Worker Options APIで書きますが、テストコードはComposition APIでも動くので、 Composition APIの実装に多少慣れてる人はぜひとも挑戦してください。 今回の記事の中で作ったコードは以下のリポジトリに収めました。 テスト駆動開発(TDD)ってなに？ TDDとはTest Driven Development（テスト駆動開発）の略であり、その文字通り、 テストを先に書いてその後にそのテストを満たすコードを書
Kaigi on Rails 2023 発表スライド
Introducing Microsoft Playwright Testing service private preview
[Update Oct 4th, 2023] We are excited to announce that the Microsoft Playwright Testing service is now available in Preview! Explore the numerous features and enhancements by reading the announcement. No more waitlists! You can dive straight in and start using the service directly here. ----------------------------------------------------------------------------------------------------------------
Testing UI - Next JS, Typescript, Jest and React Testing Library
Testing UI - Next JS, Typescript, Jest and React Testing Library Intro As you know, React is just JavaScript. That means it can be tested just like any other JS application. There are lots of testing libraries and test runners out there, but I find that the best setup is Jest + React Testing Library. I use it on a daily basis at work and on my side projects. Worth mentioning that this is also a st
We are happy to announce that the Rust 2021 edition is entering its public testing period. All of the planned features for the edition are now available on nightly builds along with migrations that should move your code from Rust 2018 to Rust 2021. If you'd like to learn more about the changes that are part of Rust 2021, check out the nightly version of the Edition Guide. Public testing period As
Developing, testing, and deploying custom connectors for your data stores with AWS Glue | Amazon Web Services
AWS Big Data Blog Developing, testing, and deploying custom connectors for your data stores with AWS Glue AWS Glue is a serverless data integration service that makes it easy to discover, prepare, and combine data for analytics, machine learning, and application development. AWS Glue already integrates with various popular data stores such as the Amazon Redshift, RDS, MongoDB, and Amazon S3. Organ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2021年10月1日号 impishのFinal BetaとTesting Week（といろいろなバグ）、シェルスクリプトをsnapパッケージにする方法 | gihyo.jp
Testing PCIe on the Raspberry Pi 5 | Jeff Geerling
A Practical Guide to Testing in DevOps Japanese Edition
ReactでTesting Library/Jestを使ってテストを学ぼう | アールエフェクト
Testing JavaScript Applications
Agile Testingの考え方をQAから開発チーム全体に広めてみた｜icchii
Coronavirus: Anxiety and confusion over testing | CNN
MOV Android版に対する「コード改善＋テスト導入」の取り組みの紹介 - DeNA Testing Blog
On the Diverse And Fantastical Shapes of Testing
Checking vs. Testing 全員品質を目指すメルペイのポリシーとガイドライン
Unit Testing for Prometheus Rules
治安維持のためにCI/CDサービスを活用しておこなったこと - DeNA Testing Blog
E2E testing on Rails 2023
Rust 2021 public testing period | Rust Blog