GoogleのJohn Micco氏によるFlakyなテストとその判別方法の解説 #JaSST - ブロッコリーのブログ
はじめに FLAKYの内容が今はっきりした！#JaSST— broccoli (@nihonbuson) 2018年3月8日 と書い（てしまっ）たので、JaSST'18 Tokyoに参加した私なりのFlakyの解釈を書きます。 JaSST'18 Tokyoについては以下のページを参照してください。 JaSSTソフトウェアテストシンポジウム-JaSST'18 Tokyo お知らせ この記事の内容を4/11に発表しました！ nihonbuson.hatenadiary.jp 発表スライドはこちら speakerdeck.com 目次 はじめに お知らせ 目次 Micco氏のお話 ICSTでの話 基調講演「Advances in Continuous Integration Testing at Google」 講演資料 テスト文化について (3ページ付近) 回帰テスト (4ページ付近) Mil
自動テストに限界を感じた私がなぜ形式手法に魅了されたのか - 若くない何かの悩み
長らく自動テストとテスト容易設計を生業としてきましたが、最近は色々な限界を感じて形式手法に取り組んでいます。 この記事では、既存の自動テストのどこに限界を感じてなぜ形式手法が必要なのかの私見を説明します。なお、私もまだ完全理解には程遠いため間違いがあるかもしれません。ご指摘やご意見はぜひ Kuniwak までいただけると嬉しいです。 著者について プログラマです。開発プロセスをよくするための自発的な自動テストを支援する仕事をしています（経歴）。ここ一年は R&D 的な位置付けで形式手法もやっています。 自動テストの限界 自動テストとは 私がここ数年悩んでいたことは、iOS や Web アプリなどのモデル層のバグを従来の自動テストで見つけられないことでした。ただ、いきなりこの話で始めると理解しづらいと思うので簡単な例から出発します。 この記事でいう自動テストとは以下のようにテスト対象を実際に
複数条件の組み合わせによるテストケース数爆発と戦うPairwise(ペアワイズ)法とそれを支えるツール「PICT」 | DevelopersIO
ペアワイズ法を使うことで、効率的にテストケースを絞り込めることがわかったかと思います。 --- 2019/10/31 追記 --- どうしてテストケースを絞り込んでも大丈夫なのか？という意見がSNSやはてブのコメントで見受けられたので、フォローアップエントリを書きました。こちらも合わせてご覧ください。 ペアワイズ法は本当に有効なのか？組み合わせテスト技法と上手に付き合う方法 ｜ DevelopersIO ペアワイズ法を支えるツール「PICT」 ペアワイズ法が有効なことはわかりましたが、この組み合わせをどうやって作れば良いでしょうか？条件の数が少なければ前述のように手作業でもやれないことはありませんが、現実の問題はもっと複雑ですので、到底無理でしょう。 そこで役に立つのが、ペアワイズ法のテストケースを生成してくれるツール「PICT」です。 microsoft/pict: Pairwise I
Kiwi - テスト計画/テストケース管理システム MOONGIFT
システム開発においてテストは重要です。ユニットテストなどは広まっていますが、結合テストなどはまだまだ十分に行われていないケースもあります。また、そうしたテストはExcelなどを使って前時代的な管理になっていることも多いです。 そこで使ってみたいのがKiwiです。テストケースを管理、運用するためのソフトウェアです。 Kiwiの使い方 ダッシュボードです。 テスト計画の作成。 テスト計画を作成しました。 さらにテストケースを作ります。 検索です。デモなので多くのテスト計画が作られています。 テストの実施状況です。 簡易的にテストの結果を確認できます。 Kiwiを使うことでテスト計画の作成や管理、実施状況などが一元管理できます。Excelなどで作成するとフォーマットがバラバラだったり、項目の抜けが発生したりします。統合されたシステムを用いることで過不足なく、適切な運用が行えるようになるでしょう。
開発者としての「テスト自動化」の基礎
はじめに 本連載は、開発を加速・効率化させるソフトウェアテストをテーマに解説を進めています。前回の解説で、読者の方々はソフトウェアテストの新たな分類やそのアプローチを知ることができたのではないでしょうか。 今回は、「開発者としての」という視点で「テスト自動化」の実践に向けた基本を解説します。なお、ここではテスト自動化を下記のように定義することとします。 「ソフトウェアを使って、テストマネジメント、テスト設計、テスト実行、結果チェックなどのテスト活動の実行や支援をすること（ソフトウェアテスト標準用語集（日本語版）Version 2.3.J02）」 その上で、皆さんが開発者にとってのテスト自動化を知り、テスト自動化をどのように実施するかチームで議論・決められるようになることを期待しています。 開発者にとってのテスト自動化のメリット テスト自動化とは人手で行うことをソフトウェアで実施することにな
無法地帯にテストケースを追加する時にいつもやっている戦略 - laiso
数年開発続いてるけどテスト全くないみたいなよくあるコードベースを想定。 不具合を修正する時についでにリファクタリングしてドメイン層のテストを書く。 手動テストで不具合を再現 ViewからロジックをControllerへ移動し、Viewからは値の参照のみにする 移動したロジックをController内でプライベートメソッドに切り出す。返り値を(2)の値にセットする プライベートメソッドを外に出して関数→モジュール化する (4)のメソッドに対してテストを書き、失敗するのを確認する ポイントとしては 運用的観点ではなるべく早く不具合を修正してデプロイしたいので、リファクタリングだけ別のブランチでゆっくりやる 依存がでか過ぎで解決できなさそうなど問題があれば、その時点ではテストを書くのを諦める。行動したことで学んだIssueを起票する 具体的なリファクタリング方法は レガシーコード改善ガイド (O
JIRAで使えるQA用テスト管理ツール「Zephyr」と「TestFLO」を試してみた | メルカリエンジニアリング
こんにちは。メルカリでQA-SETチームのマネージャ兼自動化エンジニアとして、スマホアプリのテスト自動化をぶりぶりしている@daipresentsです。 僕のチームには、QAエンジニアとSET（Software Engineer in Test）が所属していますが、メンバーの人数が増えてくるといろんな問題がでてきます。たとえば、QAエンジニアの場合は、 開発の流れがプロジェクトごとにばらばらで、プロジェクトをまたいで手伝うときに戸惑ってしまう テストケースが個人レベルで管理されてしまい、再利用も個人レベルで行われてしまい属人性の高い蛸壺ができてしまう １については、JIRAを使う文化がメルカリにあるので、徐々にプロセスが整っていますが、２については、QAエンジニアチーム全体の課題として認識されており、スケールする組織を考える上で、今のうちに解決しておきたい課題でもあります。 今回は、２の解
SquashTMことはじめ。 - Qiita
こんにちは、@miwakaiです。 Acroquest Technologyで品質保証・テストエンジニアをやっています。 ソフトウェアテスト Advent Calendar 2016の20日目です！ 最近社内導入したSquashTMというテストマネジメントツールについて、お話しします。 なぜテストマネジメントツールを導入したのか？ 今までAcroquestはテストケースはExcelで管理していました。が、 案件が受託開発や大規模開発から、サービスやプロダクト開発が中心となり、 頻繁にリリースが入るようになりました。 そうして短期でテストを繰り返し実施するようになったことで、 テストの状況も変わってきたのです。 これまでのように、確定した仕様をもとにテストを行う、ということではなく、 開発と並行してテストケースを育て、品質を向上する必要が出てきました。 そうなったとき、Excelでのテストケ
テスト管理ツール導入のススメ - Qiita
ソフトウェアテスト Advent Calendar 2016 22日目の @e5rijun です。 今回はテスト管理ツールの導入について書きます。 QA組織を作るうえで、テストケースを始めとするテストドキュメントを管理するツールの選定で頭を悩ませた経験がある方は多いと思います。自分は、テスト界隈には開発における GitHub のようなデファクトスタンダードなツールがないと思っています。 よくある話として、マニュアルテストケースの管理で Excel や Google などのオンラインスプレッドシート（これらも広義ではテスト管理ツールと言える）を使っているが、 チーム内でドキュメントやノウハウの共有が難しかったり、ステークホルダーにテストの全容を把握してもらうのが難しかったり、ケースのメンテナンスに工数がかかったり、結局いい感じの修正フォーマットを作るためにマクロ職人になる必要があったりなど、
いまだはびこるExcelスクショ
IT業界には「Excelスクショ」なる言葉がある。情報システムのGUIテストにおいて、顧客からテスト実施の証拠となる「エビデンス」の提出を求められる。これに応えるため、テスト実施時にスクリーンショットを取得して、画像をExcelシートに貼り付けていく。これがExcelスクショだ。IT現場で問題視されがちな非効率な作業の代名詞だが、ここ1～2年で改善の兆しが見えてきた。 エンジニアリング手法やツールの進化によって、テスト作業は以前よりも効率化できる余地がある。しかし、Excelスクショがはびこる現場では、なかなか効率化ができない。単純作業の要素が強いため、テスト実施者のモチベーションも下がる。 単純で工夫のいらないテストエビデンスの作成方法であるため、少なからぬ現場がExcelスクショを脱せられていない。Webアプリケーションを例にすると、次のような作業となる。 まず、テスト用のPCでWeb
海外のテスト管理TaaS主要4サービス
海外のテスト管理TaaS主要4サービス 1. 海外のテスト管理TaaS主要4サービス 2015/09/02 株式会社SHIFT 第5回「じどうかの窓口。」セミナー 2. アジェンダ テストケース管理ツール＆サービスの機能 主要4サービス TestRail QASymphony TestLodge Testcollab 1 3. 2 Test Management tools & servicesの機能 4. Test Management tools & servicesの機能 テストツール丸わかりガイドより テスト設計で作ったテストケースを保管し、検索やメンテナンスを容 易にする機能 保管してあるテストケースから、テスト実行するテストケースを選択 し、実行単位にまとめる機能 行単位にまとめたテストへテスト結果を登録する機能 「保管したテストケース」と「テスト実行順序/テスト実
テストケース管理ツールを色々試してみたメモ - Qiita
Testlink bitnami のインストーラを利用 https://bitnami.com/stack/testlink/installer 機能は十分で申し分ない ただしUIがモダンじゃない。操作しづらくて煩雑 Tarantula http://www.testiatarantula.com/ UIが煩雑すぎて辛い Impasse http://kawasima.github.io/redmine_impasse/ Redmineのプラグイン 一番使いやすい！！ テスト結果のエクスポートができない。これが辛い Redmineで完結できる人は、超オススメ Redcase https://www.redmine.org/plugins/redcase Redmineのプラグイン 自分の環境ではバグが出てしまって使えませんでした。残念 MozTrap https://github.com/
Redcaseをリリース前手動テスト管理に使う - 冥冥乃志
理由はいくつかありますが、私のチームではリリース前に定型的な項目で機能網羅的なテストを手動で行っています。数自体は大したことありませんが、手動であることも相まって昔ながらのExcel管理票が大活躍している領域です。なお、このリリース前テストをチームでは「疎通テスト」と呼称しています。 このような種類のテストがなかなか自動化していかないのは、過渡期だから仕方が無いとしても、項目の管理や実行の管理など、実施そのものではない部分でもう少し楽ができないかな、と思ってテスト管理ツールを導入してみました。ツールの選定と導入した時のポイントについてまとめてみます。 テスト管理ツールとは 困ったときのWikipedia。文章力が落ちていくのを感じます。 テスト管理システム - Wikipedia ざっくり言うと、テストの実施以外の部分で自動化できそうな集計やテストケースの再利用なんかを支援しましょう、とい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tabbyz/chibineko: The simplest test supporting tool.