yamlでテストシナリオを書いてそのまま実行までできるAPIテストツールの新星 “runn” を試してみた | DevelopersIO
yamlでテストシナリオを書いたらそのまま実行できる……そんな夢のようなシナリオテストツール"runn"の紹介とやってみた記録です これまでのシナリオテストツールに対する課題感 シナリオテストツールといえば、 Cucumber や Gauge といったツールが有名です。 ですが、これらのツールは「シナリオファイル」とは別に、シナリオを実行するためのコードも書かないといけません。しかも、そのコードではAPIを呼び出す処理を特定のプログラミング言語を使って書かなければなりません。その中には、HTTP Clientを実際に操作するような処理も含まれます。 私は「シナリオテストがしたい」のであって、「シナリオに沿ってAPI呼び出しを行う処理を書きたい」のではありません。こういった課題感を、ここ数年ずっと抱えてきました。 そんなとき、ついに見つけたツールが "runn" でした。 APIのシナリオテ
APIテスト自動化の勘所
Presentation slides: タワーズ・クエスト、バルテス、Postman 共催セミナー - 開発失敗につながる偏ったテストしてませんか？ プロが教える本当に考えるべきテストバ…
Karateとは Karateは主にe2eテストを自動化するツール。cucumber的なfeatureファイルを書くとそれを実行できる。WebAPIのテストがその中心的ターゲット github.com graalvmのjsライブラリで実現しているっぽいので、featureファイルからJavaも呼べる。 個人的にBDDというのが結構いいと思っていて、ビジネスルールの仕様なんかをビジネスサイドと意識合わせする場合に使えると思っている。アンクルボブはFitnesseというツールを作っている。 FrontPage Fitnesseは名著『実践アジャイルテスト』でも紹介されていたもの 実践アジャイルテスト テスターとアジャイルチームのための実践ガイド (IT Architects' Archiveソフトウェア開発の実践) 作者:Janet Gregory,Lisa Crispin発売日: 2009/
マイクロサービスアーキテクチャの普及や、Webブラウザのほかモバイルやスマートスピーカーなどクライアントチャネルの多様化もあって、Web APIを前提としたシステムが増加している。当然、Web APIのテストも現場では大きな課題になってくるが、株式会社ベリサーブの朱峰錦司氏は「なぜ、そのテストを実行するのか、全員で共有できているチームはどれほどあるだろうか」と疑問を抱く。そして正しいテスト技法を少し覚えるだけでも、個々のテストに対する理解はぐっと深まるという。テスト技法の初歩を、実演も交えて解説してくれた。 株式会社ベリサーブ 研究企画開発部 サービス開発課 課長 朱峰錦司氏 テスト作りの過程を言語化するツールがテスト技法 朱峰氏は「今はソフトウェアプロダクトを1回作って終わりという時代ではない。プロダクトをどんどん進化、変化させていく時代だ」と指摘し、この状況に対応するために書いたテスト
APIテスト アーキテクチャ
テックリードとして2つのプロジェクトのテスト自動化を推進しています（本業）。 この記事では、プロジェクトでの経験を踏まえ、APIテストの位置づけ、システム上のスコープ、2つの方式について説明します。 この記事の目的 これから新規/既存WebシステムのAPIテストを自動化する人に向けて、APIテストの位置づけ・システム上のスコープ・2つの方式を紹介し、よりよいアーキテクチャを選択してもらうこと 想定読者 この記事は、テストピラミッドの考え方を採用し、以下のような方針でテスト自動化を進めることが前提です。 ユニットテスト、UIテスト、APIテストのように、粒度・観点の違うテストをバランスよく用いて、品質を効率的に担保する ユニットテストなどのより小さい粒度のテストで品質の大部分をカバーし、APIテスト、E2Eテストなどのより大きい粒度のテストをできる限り削減する 上記の前提を読んでも理解できな
runn と Testcontainers で「ちょうどいい」Go API テスト - Techtouch Developers Blog
はじめに バックエンド API のテスト事情 バックエンドのテスト構成（これまでとこれから） テスト構成分類（これまで） テスト構成分類（これから） 「ちょうどいい API テスト」とは API テストに求める価値 実行の容易性 メンテナンスのしやすさ 技術選定のポイント runn の採用理由 Testcontainers の活用 実装例 API サーバー実体 APIテスト runn シナリオ APIテストコード おわりに はじめに バックエンドエンジニアの nome です。花粉症🤧なのでこの時期はリモート仕事の幸せを改めて実感しています。 テックタッチのバックエンドAPIでは、これまでユニットテストと Postman による API 統合テストを中心に自動テストを実施してきましたが、テストカバレッジの不足や実行・メンテナンスコストの課題がありました。 本記事では、これらの課題を解決する
はじめに JCEXで実践しているAPIテストについて 単体テスト 負荷テスト なぜAPIの単体テストを行っているのか API単体テストで使用するパッケージ 実例によるAPI単体テストの環境構築 前提 ステップ１: テストしたいAPIの定義 ステップ２: テストの作成 ステップ３: APIの実装 ステップ４: DBを使ったテスト ステップ５: ヘルパー関数化 ステップ６: テーブル駆動テストに変える ステップ７: フィクスチャを使ったテスト まとめ おわりに はじめに こんにちは、enechainのGXデスクでエンジニアをしている@ejiです。 GXデスクは、『日本気候取引所 - Japan Climate Exchange』 (以下 JCEX) のサービス開発を担当しており、 私は主にBFFとバックエンドのAPIをGoで開発しています。バックエンドのAPIは gRPC を使用しています。
初めまして！TeamSprit EXのQAエンジニアの河西です。 昨年9月に入社し、APIテストの実装や、負荷テストの実施に取り組んでいます。 その中で多くの試行錯誤があったため、そのことについて全3本の記事でご紹介したいと思います。 JMeterによるAPIテストの実装について ◀︎ 今回はこちら JenkinsによるAPIテストの定期実行について JMeterを使ったSalesforceアプリへの負荷テストの実施について 既にAPIテストは少し作られていましたが運用されていなかったため、既存のAPIテストを参考にし、運用できるAPIテストの実装を始めました。 その取り組みの中で、自動テスト実装初心者の私が学んだことや工夫したことについて、今回は書いていきます。 なぜAPIテストを実施するのか？ どうやって実装するのか？ APIテスト実装における課題 属人化問題と向き合う 最後に なぜA
APIテストで質とスピードの両立を実現 - LegalForceキャビネの事例 - LegalOn Technologies Engineering Blog
こんにちは、株式会社LegalOn TechnologiesのLegalForceキャビネ開発部でQAリードを務めている島根（@shimashima35）と申します。 QAというとマニュアルテストが中心かと思われるかもしれません。確かにマニュアルテストはQAの業務の一部ではありますが、「質とスピードの両立」つまりプロダクト品質の高さとリリーススピードの両立を目指すため自動テストの導入もおこなっています。 今回はLegalForceキャビネのバックエンドに対するAPIテストを実装した話をご紹介します。 APIテストとは まず最初にAPIテストについて説明します。 APIテストの概要 APIテストとはWeb APIの外形的な仕様を満たしているかを HTTP(S)を用いてテストすることです。バックエンドのコントローラーに対するユニットテストとは以下の点が異なります。 HTTP(S)を経由する デ
APIテストに便利！ 「Amazon API Gateway」と「Amazon S3」で作る、レスポンスを動的かつ簡単に変更できるAPIモック
「Amazon Web Services」（AWS）活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は「Amazon API Gateway」（以下、API Gateway）と「Amazon Simple Storage Service」（以下、S3）を利用して、レスポンスを動的かつ簡単に変更できるAPIモックを作る方法を紹介します。 「Amazon API Gateway」とは API Gatewayとはシステムが提供するAPIの管理を容易にするAWSのサービスです。 主な役割としてはクライアントから受け取ったリクエストを「Amazon Elastic Container Service」（ECS）や「AWS Lambda」といったバックエンドのサービスにルーティングし、レスポンスをクライアントに返却します。 また、リクエストのバースト設定や形式チェックなど、従来の
【テスト自動化】APIテストの自動化ツールを調査してみた - RAKUS Developers Blog | ラクス エンジニアブログ
勤怠サービスの開発チームに所属しているkarabishです。 テストに関するある課題を解決するためにAPIテストの自動化ツールを調査しました。まだチーム内に展開していないのですが、調査結果のうちツールの選定に関する部分を備忘録として残しておこうと思います。 なぜAPIテストを自動化するのか ツールの選定方針 調査したツールたち 調査方法 調査結果 Tavern テストシナリオ テスト実行 scenarigo テストシナリオ テスト実行 runn テストシナリオ テスト実行 karate テストシナリオ テスト実行 stepci テストシナリオ テスト実行 調査しなかったツールたち まとめ なぜAPIテストを自動化するのか 36協定の計算などの負荷が重たい処理はpub/subアーキテクチャを利用して非同期で処理していました。ただ、publish側とsubscribe側それぞれのユニットテスト
GitHub ActionsでPostman + NewmanのAPIテストを実行してみた | DevelopersIO
GitHub Actionsにおいて、Postman + Newmanを使用したAPIテストを実行する方法を記載しました。比較的簡単な設定でAPIのインテグレーションテストを実行できそうです。 はじめに こんにちは、CX事業本部の木村です。 APIのインテグレーションテストをする機会がありましたので、Postman + NewmanでCLIベースのAPIテストを、GitHub ActionsのCI/CDパイプラインで実行する方法について検証してみました。 今回はお試しなので、テスト対象のAPIのダミーとして、JSONPlaceholderを利用させていただきます。 Postman + Newmanを試してみる そもそもPostmanとは API開発のためのコラボレーションプラットフォームです。 Postmanドキュメント APIへのリクエストやレスポンスの検証がGUIから容易に行えます 認
タイトルからREST APIのテスト技法や実装方法が中心の内容かと想像していましたが全12章に渡って、「ちゃんとプロダクトを理解し、計画を立ててから機能・非機能双方でAPIに対するテストを行う」という包括的な内容で良い意味で驚きました。 特にテスト計画に時間をかけすぎずに整理する考えや、 Explore It! という探索的テストの本を参照しながら、何をテストするか整理する方法は具体的なHowに寄りすぎず、非常によかったです。 心に残ったポイントの紹介 ここからは書籍を読んで特に私の心に残ったことを紹介します。 Chapter 2: Beginning our testing journey 本書の第2章では、APIテストを始める前の重要なステップとして「プロダクトを深く理解すること」が強調されています。 The more we learn, the clearer our strateg
Karateとは？ Karateは、Cucumberと同様のBDD（ビヘイビア駆動開発）を行うためのフレームワークであり、Gherkinの文法を自然言語に近い形で記述できるユニットテストツールです。 REST-APIのテストの他、GraphQLやWebSocketなどにも対応しており、さらに、テストダブルやUIテストにも利用できるツールです。 (2021/03/15 v1.0.0 Release) この記事では、Karateを利用したAPIテストについて、いろいろと調査や検証した結果の内容をまとめています。 Basic な利用方法 Karateの基本的な利用の仕方について、説明しています。 #01 Quick Start Karateの紹介 サンプルシナリオの実行 #02 Reading By Example Karateのファイル構成や内容 サンプルシナリオの理解 テストスクリプト（fe
Playwright MCPのNetwork機能を改良してAPIテストの調査から実装まで自然言語でやれるか試してみた
こんにちは。ダイの大冒険エンジョイ勢のbun913と申します。 みなさんはAPIテストを書く時に、「もうCursorとかでどんな時にどういう順でAPIが呼ばれるか、仕様の把握からテストコードの作成まで自然言語で指示できないかな」と思ったことはありませんか？私はあります。 今回は以下のB1のように、特定のユースケースを満たすために、呼ばれている一連のAPIを把握して、そのままAI搭載エディタにテストを書いてもらうということをPlaywright MCP server に搭載された Network機能を使って、試してみました。 どんなAPIが呼ばれたか？ では API: hoge と API: fuga の結果、ユーザーにはこのような情報がみえるべきなのでそのテストを書きましょう といったことを自然言語で指示して、開発のバックグラウンドのない方でもAPIテストをPlaywrightで記載できる
PostmanでAPIテスト | エンジニアBLOG
PostmanでAPIテスト 仕事効率化 弊社で作成するシステムは基本的にはMVCモデルのRepositoryパターンに則って行っています。データソースへのアクセスが抽象化されるため改修と既読性は良くなります。 ざっくり図化すると下記のようなイメージです。 MVCモデルで行う際、作成したAPIのテストは重要なものです（なお、弊社ではAPIはRESTアーキテクチャスタイルの制約に則った作成を心がけています） フロントエンドの不具合なのか、バックエンドの不具合なのかの切り分けを行うためです。 また、最近では人も増えてきてフロントエンド、バックエンドに分かれての開発も多くなってきました。 分散開発も増えてきそうなのでAPI周りの標準化やテスト方法の整備が急がれます。 そこで、APIのテストではPostmanを利用し（始め）ています。 １．Postman概要PostmanはWebAPI開発用のツー
Postmanを活用した効率的なAPIテスト自動化のススメ / Efficient API Test Automation Using Postman
Presentation Slides for Postman Tokyo Meetup 2023.8 Session title: Postmanを活用した効率的なAPIテスト自動化の…
開発経験のないQAエンジニアのAPIテスト実装までのキャッチアップ はじめに これは Kyash Advent Calendar 2021 の15日目の記事です。 Kyash QAチームの@Tokkiです。 KyashのQAエンジニアとして品質管理と品質保証を担当しています。 KyashにQAが発足してから1年半程が経過しました。 今回は開発経験の少ないQAエンジニアが『APIテスト実施』をやってみた時のお話をしたいと思います。 新しいプロダクトのリリースとAPIテストへの取り組み 新サービスの開発が決まり、QAでもAPIテストを実施することになりました。 とはいえ開発経験が少ないQAエンジニアである自分が一人では、限られた期間でテスト実行までを完了することはできません。 そこでSET(Software Engineer in Test)メンバーである@konifarに参加してもらい、AP
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
（写真は私が趣味で撮っているもので、記事の内容とは無関係です。）0. はじめにこんにちは、Finatext で保険事業にてプロダクト開発をしている @toshipon です。 Finatextでは、証券や保険といったいくつかの金融領域で SaaS を提供しています。保険事業では、保険商品の販売や保険業務をオンライン上で円滑に行うためのSaaSである「Inspire（インスパイア）」を開発・提供しています。 今回の記事のテーマは、保険 SaaS 開発における API テストです。 既存の SaaS を利用しているGateway サービス(BFF)と SaaS のコア機能の開発スピードを維持しつつ、保険という金融商品に求められる品質を担保するためのAPIテスト自動化の取り組みについて、ご紹介したいと思います。 1. 保険SaaS開発のテストにおける課題当然ながら、保険という金融商品を取り扱って
2023-01-20 NestJSを用いたWebAPIサーバーの開発と、仕様書作成/APIテストの効率化 NestJS Swagger API Testing Dredd はじめに 私たちのチームでは、新しく作成するREST APIサーバーの開発にNestJS、API仕様書のフォーマットにOpenAPI(Swagger)を採用しました。NestJSでは、組み込みのモジュールを利用することにより、OpenAPI仕様書を容易に作成することが可能です。 また、APIテストフレームワークにDreddを用いることで、実装がOpenAPI仕様書通りに動いているかどうかを自動で確認することができます。この記事では、NestJSとDreddに関しての説明や利点、またサンプルコードを用いて実際にAPIサーバー構築・OpenAPI仕様書作成・APIテストまでの一連の流れを紹介していきます。 この記事の対象者
アプリケーションはデータの提供、取得、保存処理をAPIに依存している。そのため、APIの信頼性をテストすることの重要性が増している。これまでも開発者は単体テストではAPIの信頼性を確認していたが、それ以降はAPIテストをほとんど実施していなかった。 だが、APIが注目され、侵入の潜在的な原因として認識されるようになったことで、定期的なAPIテストの必要性が増している現在、テストに精通したほとんどの組織は、アプリケーションの機能テストの一環としてAPIテストを定期的に実行している。 このように重要度の高まっているAPIテストについて、本稿では、そのテスト戦略に必要な要素や導入の課題、開始方法について説明する。 APIテストの課題 関連記事 機械学習をPythonで学ぼう！ 基礎、できること、ライブラリ 「知識ゼロから学べる」をモットーにした機械学習入門連載の第1回。ルールベースと機械学習ベー
AWSではじめる Web APIテスト実践ガイド / A practical guide to testing Web APIs on AWS
Presentation slides for JAWS DAYS 2025 Session title: AWSではじめるWeb APIテスト実践ガイド：品質とセキュリティを支えるためのポイント (
こんにちは！QAエンジニアのark265です。 SmartHR全体のプロダクトを横断的にQA業務を行うチームに所属してます。 QAチームで掲げているミッションの一つである「品質を技術で解決する」 を実現するために日々、より良い品質保証活動ができるよう取り組んでいます。 実施した背景 昨今、お客さまの多様性が高まっている背景と、より高いレベルの品質保証が求められるようになりました。 今回は SmartHR API を対象にした活動をお伝えしていきます。 SmartHR API は基本的に request spec により動作が担保されています。 一方でインフラなど外部要因で影響が発生したり、request spec の不足などで問題が起きることがありました。 そこで、より高いレベルでの品質を保証する手段として、外部からのリクエストによるテストを実施することにしました。 手段の選定 自前で環境
Jest・Supertestを使用したnode.js(Express)のAPIテスト app.listen()はエラーになる - Qiita
Jest・Supertestを使用したnode.js(Express)のAPIテスト app.listen()はエラーになるJavaScriptNode.jsExpressテストJest はじめに Jest・SupertestでAPIテストを作成した際に躓いたので、その実装の備忘録を残しておく。 この記事ではnode.js(Express)のAPIテストを実行できるようになる部分までを記載した。より実践的にはAPIテストのエンドポイントのメソッドでWeb APIをcallしているような場合は、それをmock化してWeb APIがcallされないようにすべきであるが、それについてはmockを使ったNode.js(Express)のAPIテストを参照。 （実際にテストを作る中でトラブって困った事もトラブった事として残した。） どうやってExpressのAPI(End Point)テストをjes
Web APIテスト技法 | 翔泳社
煩雑なWeb APIのテストにも 品質とリスクを考慮した戦略・手法がある 本書は Mark Winteringham, "Testing Web APIs", Manning Publications 2022 の邦訳版です。 閉じた環境下にあるプログラムのテストなら、その戦略も手法も自ずと見えてくるもの。どこをどうテストすれば品質が上がり、全体にとってのリスクもある程度は把握できます。けれども、それが手の届かない外部に開いており、ある種のブラックボックス化された環境と接続せざるを得ない時、果たして、採用した戦略が正しいのでしょうか。また、正解ではなかった場合のリスクを見積もることは可能でしょうか。 本書ではプロダクトに対する品質とリスクの両面から、ケースバイケース案件として場当たり的なテスト戦略を見直し、Web APIにとって真に効果的なテスト手法の数々を紹介します。 初歩的な事柄から自
この記事はGo Advent Calendar 2024の 14 日目の記事です🎄 はじめに 先日、専用コンテナを利用したユニットテストのアプローチとして、Testcontainers for Goを利用した具体例を紹介させていただきました！ まだ読んでない人は、ぜひチェックといいねをよろしくお願いします 👍 本記事では、Testcontainers と合わせて、runn を用いた API テスト基盤について詳しく解説します。 前提 runn とは runn は、k1LoWさん作のシナリオテスト[1]を柔軟に構築できるツールです。 個人的な runn の推しポイントとしては以下２点です。 ポイント 1. チュートリアル、クックブックが日本語対応している 初めて使うのにまったく困らないほどのドキュメントが、それぞれ日本語かつ zenn で公開されているのは、国内で普及させるのにだいぶア
またASP.NET Coreネタ。今度はASP.NET Coreの自動テストで、APIレベルのテスト (統合テスト, Integration tests) を行う方法について。バージョンは引き続き2.1。 統合テストの方法については、公式ドキュメントにも以下のように説明がある。 ASP.NET Core MVC アプリのテストASP.NET Core での統合テストが、いろいろ説明が冗長だったり、かと思えば足りなかったりと、最初にこれだけ見ても正直分かり辛い。 なので、実際に統合テストを行うのに必要な要点とかをまとめてみる。 （最終的なテストの実装例はこちら参照。） テストプロジェクトの作成まずテストプロジェクトの作成。Visual Studioで、公式のサンプルに合わせてxUnit.netのテストプロジェクトを作る。 （ただし、統合テストの仕組み自体はテストライブラリによらず共通と思われ
この記事は移行しました！最新の内容はこちらをご覧ください😀 API開発時にPOSTでメソッド渡さなければいけなくてその度にHTML書いて送信して〜ってのをやってたのですが、 いい加減毎回作るの面倒なので汎用的なのを作りました！ 画面こんな感じ ポイント！ APIのURLが書き換えられる Methodも切り替えできる パラメータ名と値が書き換えられる パラメータが足りなければ add で追加できる パラメータは [] で配列にも対応 ソース <html> <head> </head> <body> <h1>JSONでデータを送信する</h1> <p>Url: <input type="text" id="url" name="url" size="100" value="https://example.com/api/hoge"></p> <p>Method: <input type="t
こちらの記事はコドモン Advent Calendar 2022の9日目の記事です。 qiita.com こんばんは！ コドモンプロダクト開発部QAエンジニアの水落です🍞 まずはじめに、読者の中にはコドモンをご利用いただいている方もいらっしゃるかと思います。2022年度に入って以来システムの稼働が安定しないことが時折あり、ご迷惑をおかけして誠に申し訳ございません。安定稼働に向けた取り組みを最重要課題として各種の対策を進めております。 その対策をより多くの優秀なエンジニアの方々と進めていきたいという意図もあり、今回はAPIテストを用いたシステム健全性のさらなる評価について書いていきます。 現在、コドモンにおいて課題になっているのが、最新のソースコードに対してテストにより動作・品質を担保するコストが高いことです。 テストは以前より継続して行っていますが、UI操作からのE2Eテストなど、ロジッ
JJUC CCC 2024 Spring APIを作った際、curlコマンドやgrpcurlコマンドを使って動作確認をしていました。しかし、OpenAPIやgRPCを利用してAPIを作っている場合においてシナリオテストを導入すると、とても素早くしかもコマンドで確認するより正確なテストができました。…
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
APIテスト自動化ツールKarateをBDDツールとして使う - まっつんの日記
そのテスト、正しく設計できていますか？ テスト技法ツール「GIHOZ」を活用したAPIテスト設計【デブサミ2022】
GoでgRPCのAPIテスト環境を構築する - enechain Tech Blog
JMeterでAPIテストの実装を始めました - チームスピリットデベロッパーブログ
Testing Web APIs は想像したAPIテストのテクニック集以上の本でした
APIテスト自動化ツール「Karate」のまとめ - Qiita
開発経験のないQAエンジニアのAPIテスト実装までのキャッチアップ - Kyash Product Blog
Mock Service Workerライブラリにより、復元力のあるRESTおよびGraphQL APIテストが可能に
保険SaaS開発におけるAPIテスト自動化の取り組み
NestJSを用いたWebAPIサーバーの開発と、仕様書作成/APIテストの効率化
単体テストで終わってない？ 重要度が高まるAPIテスト、その始め方について解説
APIテストの実装/監視はAssertibleが効果的だった - SmartHR Tech Blog
Go自動テスト - Testcontainersとrunn を用いたAPIテストの実践-
Amazon.co.jp: Web APIテスト技法 (Programmer’s SELECTION): 長尾高弘 (翻訳), Mark Winteringham (原著): 本
ASP.NET CoreでAPIテスト (統合テスト) を行う - honeplusのメモ帳
APIテスト（JSON形式でPOSTする）に使える汎用的なHTMLフォーム - Qiita
レガシーコードを理解して手放すためのAPIテスト導入 - コドモン Product Team Blog
Spring Bootで作成したAPIテストのコスパを高めよう！