QAがテスト設計プロセスの見える化に取り組んだ話 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。東京品質保証部 QAの矢引です。 今回は、今年の上半期に行った、試験設計プロセスの見える化の活動について紹介します。 製品チーム横断でQAのカイゼンを支援するチーム「SPITz」 サイボウズでは、製品ごとに開発チームが分かれており、QAメンバーがそれぞれの開発チームで活動し、担当製品のテストプロジェクト全般を担当しています。 QAの仕事内容についてはこちらの記事でもご紹介していますのでぜひご覧ください。 blog.cybozu.io また、上記の活動とは別に、品質保証部内のQA全般のカイゼンを支援するチーム「SPITz」（ Software Process Improvement in Test の略）があり、有志のメンバーが活動しています。 これまで、探索的テストの情報収集やTPI NEXTの情報収集・試験的導入などを行いました。 背景 サイボウズではリリースに関する品質の基
フロントエンド・テストツール比較 Puppeteer #02テスト編 - Qiita
・ログイン後の一覧画面に遷移して、ID/パスワードのアサーションとキャプチャ ・リストで以下の要素を登録してキャプチャ(入力したものが、画面にリンクとして反映される) 入力値:javascript, ruby, scala ・リストの順番を入れ替えてキャプチャ 別タブの操作 別タブを開くリンクをクリックする (別タブの操作)タイトルをアサーション・キャプチャ (別タブの操作)タブを閉じる 元のタブでキャプチャする ブラウザバック・フォワードの操作 リストの任意の項目(同タブリンク)をクリックする タイトルをアサーションして、キャプチャ 一覧画面に戻る、進むを行い、それぞれでキャプチャする テストコード 上記で用意したテストケースを網羅できるテストコードを書いていきます。 const puppeteer = require('puppeteer'); const loginUrl = 'ht
Google、Dockerイメージに対するテスト自動化フレームワーク「Container Structure Tests」オープンソースで公開
Google、Dockerイメージに対するテスト自動化フレームワーク「Container Structure Tests」オープンソースで公開 Container Structure Testは、コンテナ内部でコマンドを実行することで正しい出力やエラーが帰ってくるかどうかや、コンテナ内部のファイルが正しく格納されているかなどの検証を実行できるフレームワークです。 具体的には下記のテストをサポートしていると説明されています。 Command Tests コンテナイメージ内部でコマンドを実行し、正しい出力やエラーが返ってくるかを検証する。 File Existence Tests コンテナイメージ内部に、あるファイルがファイルシステム内の適切な位置に存在しているかどうかを検証する。 File Content Tests コンテナイメージ内のファイルシステムにあるファイルのコンテンツとメタデータ
Markdown で書いた試験仕様書を Excel に変換するツールを作った | 田舎からGeekを目指す
だいたいの試験項目書は Excel で作られている事が多いと思いますが、試験手順の修正や項目追加などでちょいちょい変更することがあって、バージョン管理していると衝突したり差分がわからなくなったりしがちだったりしませんか？ そんな現状をなんとかすべく、試験仕様書を Markdown で書くという試みをしてみました。(一応、実プロジェクトでも運用済み) Github のプロジェクトとして公開しています。 以前 Java で書いてたのですが、今だと Kotlin の方が管理しやすそうだったので Kotlin で書き直しました。Kotlinは本当に書いてて気持ち良い言語。 使い方 Github の README にも書いてますが、ここでは日本語で説明書きます。 1. 試験仕様書の Markdown を書く 下記のような Markdown を作成します。 # 試験カテゴリ ## 大項目サンプル ##
BackstopJSではじめるビジュアルリグレッションテスト - astamuse Lab
こんにちは。デザイン部でフロントエンドエンジニアをしているkitoです。 今回は、BackstopJSを使ったビジュアルリグレッションテストについて書きたいと思います。 ビジュアルリグレッションテストとは視覚的な回帰テストのことで、具体的にはスクリーンショットを撮影して差分抽出して行うテストです。 近年のWebフロントエンド開発では、SassやWebpackのような開発環境が整うに従ってスタイルシートをモジュール化することが増えています。 それはスタイルの汎用性を高めることに大きく貢献していますが、一方で、あるパーツのスタイル修正が想定外の場所で悪影響を及ぼしてしまう可能性をもつようになりました。 この問題に対処するために、Enduring CSSのような新しいタイプの設計手法も考えられてはいますが、既存のサービスに導入するにはかなり敷居が高いでしょう。 そこで注目したいのが、ビジュアルリ
Jest · 🃏 Delightful JavaScript Testing ドキュメント
スナップショット機能で大きなオブジェクトを容易に追跡できるテストを作成できます。スナップショットはテストと一緒に、あるいはインラインに埋め込んだ状態で表示できます。
masq - 開発で使えるDNSサーバ
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Basecampが開発したPowというツールは自動的に.devというドメインでアクセスできるようになります。これが便利で、サーバのポート番号を指定するのに感じていた面倒さはありません。しかしPowはRackサーバ向けであって他の開発に使えませんでした。 そこで使ってみたいのがmasqです。PowからDNSサーバの部分だけを切り出したソフトウェアです。 masqの使い方 masqを実行すると、*.devというURLアクセスがすべてlocalhostを返してくれるようになります。 $ ping test.dev PING test.dev (127.0.0.1): 56 data bytes 64 bytes from 127.0.0.1: icmp_seq=0 ttl=64 time
テストや開発環境における自動化に関して議論したICST2017 unofficial meetup - クックパッド開発者ブログ
技術部品質向上グループの松尾(@Kazu_cocoa)です。 2017年3月13日〜2017年3月17日の間に、東京にてICST2017という国際学会が開かれました。 その学会に基調講演としてGoogleの方などが来日しました。そのさい、非公式ながらミートアップを開いたのでその時の学びを共有したいと思います。 ICST2017とは ICST2017とは、2017年に開催された第10回 IEEE International Conference on Software Testing, Verification and Validationの略です。Webサイトはこちら。 そこではソフトウェアテストや開発環境、品質に関する研究や事例が発表され、議論されました。 今年は10周年である上に、この会が始まって以来、初めて日本で開催されたようです。 学会と聞くと学術的すぎると思うかもしれませんが、比
モダンなテスト管理プロセスのためにテスト管理ツール３つを比較検討したはなし | メルカリエンジニアリング
こんにちは。メルカリのテストエンジニアとして、スマホアプリのテスト自動化をぶりぶりしている@daipresentsです。 テスト自動化をすすめるにあたり、効率のよいテストを作るために、既存のテストケースについて調べる機会がありました。その過程で現状のQAプロセスも確認したのですが、以下のようなテストケース管理の課題があることがわかりました。 それぞれのテストエンジニアが、それぞれの方法で、それぞれのテストケースを管理しているため、ナレッジが横につながりにくい。 共有されているリグレッションテスト項目の更新が追いついておらず、情報が古くて使いにくい。 人数が増えてきて、ふりかえりや改善がやりにくい。 １については、現在、職能横断的なチーム構成になっているため、プロジェクトやプロダクトに集中できる環境である反面、それぞれのチームにいるQAエンジニアどうしのつながりが薄れてしまうことが原因に感じ
テスト自動化研究会 - テスト自動化の8原則
1. 手動テストはなくならない 2. 手動でおこなって効果のないテストを自動化しても無駄である 3. 自動テストは書いたことしかテストしない 4. テスト自動化の効用はコスト削減だけではない 5. 自動テストシステムの開発は継続的におこなうものである 6. 自動化検討はプロジェクト初期から 7. 自動テストで新種のバグが見つかることは稀である 8. テスト結果分析という新たなタスクが生まれる これらの原則は、どのようなドメイン、プロセス、ツールの現場におけるテスト自動化であっても共通して言える、テスト自動化に取り組む前に留意しておくべきことがら＝原則を、テスト自動化研究会のメンバーによる議論のうえ、絞り込んだものです。これからテスト自動化に取り組まれる方、現在取り組まれている方、これから見直しをされたい方にご参考いただければ幸いです。 解説 1. 手動テストはなくならない ユーザビリティテ
開発を効率化するテストのデザインパターン
2017/3/13 iOS Test Night #3 https://testnight.connpass.com/event/49561/
市場で勝ち続けるための品質とテストの技術②
2017年1月12日（木）に、「Regional Scrum Gathering Tokyo 2017」で発表させていただいた資料です。 http://2017.scrumgatheringtokyo.org/ メトリクスに関する知見を、学術的視点（Agile2016・SQiP2016）および現場での活用事例から整理し、具体的な取得・活用方法を含めて説明しています。 みなさんのメトリクスの習得・活用のプラスになれば幸いです。
これだけは覚えたい、ユニットテストを書くための４つのデザイン - Qiita
もうちょっと規約的なものを「JavaでのUT作成基準を整理してみた」にもまとめてみました。 はじめに 去年、ブログの方に「ふつうのユニットテストのための７つのルール」という記事を書いたのですが、思ったより反響がありました。 あの記事で書いたのはあくまで原理・原則で、それを実現するためにはいくつかのテクニックが必要です。 特に、ああいうルールを作って「ユニットテストを書く事」を厳守するようにしても、 適切なテクニックを知らなければメンテが困難だったり、品質に寄与しなかったり、実行性能が悪いゴミが量産される可能性があります。 じゃあ、どうすれば良いかというと「最初からユニットテストが書きやすいように元のコードを設計する」ということです。 そう。まず身に付けるべきは「テストコードの書き方」では無く「テスト対象コード」すなわち「プロダクトコードの書き方」なのです。 また、ここで言ってる「最初から」
JSON Test by jsontest
JSONTest.com is a testing platform for services utilizing JavaScript Object Notation (JSON). To use, make a request to servicename.jsontest.com, where servicename is the name of a service listed below. We also support a number of parameters, such as callback, allowing you to test Javascript and other web applications. For example, try this: http://ip.jsontest.com/?callback=showMyIP Services IP Add
OSSのサーバテスト自動化ツール徹底検証 2016年版 ～Infrataster編――手間取るテストエビデンス作成をどう自動化するか～
OSSのサーバテスト自動化ツール徹底検証 2016年版 ～Infrataster編――手間取るテストエビデンス作成をどう自動化するか～：実際に検証済み！OSS徹底比較（6）サーバテスト自動化【後編】（1/6 ページ） 各種オープンソースソフトウェアのうち、特に人気の高いOSSをピックアップ。実際の検証結果をまとめた本連載。前編で解説したサーバテスト自動化ツール「Serverspec」に続き、今回は「Infrataster」を紹介する。 はじめに 現在、一部のIT企業では“Excel方眼紙”で作成されたテスト設計に基づき、テスト実施者が手動でコマンドや画面操作を実行している。そのテスト結果をスクリーンショットの形でExcelシートなどに張り付けて、エビデンスとして記録している例が多い。 しかし、この作業は内容の割に非常に手間が掛かる上、手作業であるため、コマンドの間違いやスクリーンショットの
雑に特定のホストの特定のポートと疎通できてるかどうか確かめる - その手の平は尻もつかめるさ
新しくサーバ立てた時やサーバ追加した時に，そのサーバが他のホストの特定のポートと疎通できるかどうかチェックする必要が出てくる時がある．ACLとかの兼ね合い． そういうのは本番の環境だと監視のシステム等に組み込まれていたり，あるいはserverspecとかで確認されていることが多いと思うのだけれど，その場で雑に確認したくなることがあると思う．そういう時はtelnetで繋いで，quitして，というのを繰り返していく感じになりがちなのだけれど，対象となるホストの数が多くなってくるとそういうことを手でやるのも大変になってくる……というわけでこれです． $ (sleep 0.1; echo quit) | telnet $HOST $PORT) こういう風にしておくとtelnetで繋いだ後にquitを発行するということを自動でやってくれる． とはいうものの，こうすると正しく繋げているかどうかを目視で
テストエンジニアと組織構造 @Cybozu
http://connpass.com/event/38335/ Test Engineers Meetup #1の発表資料です。 サイボウズ株式会社におけるテストエンジニアリングチーム設立の経緯と組織構造について話しました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
組織にテストを書く文化を根付かせる戦略と戦術 / Strategy and Tactics of Building Automated Testing Culture into Organization
「UI自動テストツールとAI」〜AIを使った自動テストの「今」と「未来」〜
わたしたちの開発現場
