嘘、大嘘、そして (Cloudflare の) 統計 : Cloudflare のパフォーマンステストの欠陥を証明
嘘、大嘘、そして (Cloudflare の) 統計 : Cloudflare のパフォーマンステストの欠陥を証明 数週間前、Fastly の競合企業の一つである Cloudflare が、自社のエッジ・コンピューティング・プラットフォームは Compute@Edge と比べて約3倍も高速であると 自社のブログ記事で断言しました。しかし Cloudflare によるこの見当違いな主張は、事実とは異なる印象を与えるために統計が利用されるリスクについて学ぶ良い機会でもありました。この記事では、Cloudflare のテスト手法を分析するとともに、より有用で科学的な比較による結果をご紹介します。 世の中には「嘘、大嘘、そして統計」の3種類の嘘が存在すると言われています。これは統計の説得力を皮肉った言葉であり、統計の中には信用できるものもありますが、今回 Cloudflare が公開した統計は明ら
みなさん、こんにちは！プロダクト開発部の西原です。 現在、JMDCが保有している医療ビッグデータを活用して生活者や医療に新しい価値を提供する新規プロダクト開発チームのバックエンドを担当しております。 皆さんは普段プロダクト開発の際にパフォーマンステストはどのツールを使用していますでしょうか。私が所属する新規プロダクト開発のパフォーマンステストでは「Ddosify」というツールを使用しました。 今回はこちらの基本的な使い方についてご紹介致します。 Ddosifyとは Ddosifyは、Goで書かれたパフォーマンステストツールになります。 JSONファイルを使用してシナリオを作成することができます。シナリオを定義することで、異なるリクエストパス、ヘッダー、ボディを持つ複雑なテストケースを作成できます。 加えてDdosifyはDdosify Engine、Ddosify Self-Hosted、
超便利！PostmanのAPIパフォーマンステストで簡単かつ素早く性能フィードバックを手に入れよう - Qiita
はじめに 先日（2023年6月15日）、PostmanのAPIパフォーマンステストが正式にリリースされました。この機能により、Postmanのコレクションに登録されているAPI群に対して、手軽にクライアントから負荷をかけ、APIのパフォーマンスや性能問題などの確認ができるようになりました。PostmanでAPI開発しながら素早くサクッとAPIの性能フィードバックが得られることがこの機能の魅力です。 本記事ではその使い方、注意点・制限などについて簡単にご紹介します。 Postman APIパフォーマンステストを使ってみる 事前準備 APIパフォーマンステストは、2023年6月時点でPostmanデスクトップアプリからのみ利用可能です。まだインストールしていない方はこちらよりダウンロードしてください。 次に、機能紹介で利用するサンプルAPIを用意します。ここではPublished Postma
【JJUG CCC 2021 Fall 発表レポート】JMeter・Grafana・Influxdbを活用したパフォーマンステストの自動化 - RAKUS Developers Blog | ラクス エンジニアブログ
新規サービスの開発チームに所属しているkarabishです。 2021年11月にJJUG CCC 2021 Fallにて「勤怠管理サービスでの継続的テストの取り組み」というテーマで登壇しました。 パフォーマンステストの自動化について発表したのですが、発表時はどういうことをやったのかのみをお伝えしましたので本ブログでは具体的な方法をお伝えできればと思います。 JJUG CCC 2021 Fallとは 登壇資料はこちら なぜパフォーマンステストの自動化を取り組みしたのか パフォーマンステストの自動化で利用したもの Ansible/JMeter/Grafana/InfluxDB/PostgreSQLの環境構築 Ansible JMeter Grafana/InfluxDB/PostgreSQL パフォーマンステストを自動化される前は 1. 負荷がかかるサーバを構築する 2. 負荷をかけるサー
概要 k6は、開発者がロードテストを行い、パフォーマンスの問題を 特定できるようにするためのオープンソースの負荷テストツールです。 この度v.044がリリースされ、Web Crypto API のサポートが開始されました。 高負荷状態でのフロントエンドのパフォーマンス計測が可能になりました。 なお前バージョンにあたるv0.43で拡張機能扱いだった ブラウザサポートがビルドインされているため、より計測しやすくなっています。 サンプルコード サンプルコード import { chromium } from 'k6/experimental/browser'; export default async function () { const browser = chromium.launch({ headless: false, timeout: '60s', // Or whatever ti
2023年6月にASUSが発売した携帯型ゲーミングPCの「ROG Ally」には、AMDの「Ryzen Z1」というSoCが搭載されています。そんなRyzen Z1について、海外メディアのChips and Cheeseが詳細なパフォーマンステストを行っています。 AMD’s Mild Hybrid Strategy: Ryzen Z1 in ASUS’s ROG Ally – Chips and Cheese https://chipsandcheese.com/2024/02/12/amds-mild-hybrid-strategy-ryzen-z1-in-asuss-rog-ally/ AMDが2023年4月に発表した「Ryzen Z1」は、2つの高性能なZen 4と、スペースに合わせて最適化されたZen 4cが4つ組み合わさった、「セミハイブリッドコア構成」と呼ばれるプロセッサです
"パフォーマンスのアンチパターン" は、設計パターンとよく似ており、組織内の一般的な欠陥のあるプロセスと実装です。 これらは、アプリケーションの負荷が高いときにスケーラビリティの問題を引き起こす可能性がある一般的なプラクティスです。 これらのプラクティスを認識すると、ソフトウェア担当者間で詳細な概念を伝えるためのコミュニケーションが簡素化され、アンチパターンの知識は、コードを確認したり、パフォーマンスの問題を診断したりするときに役立ちます。 一般的なシナリオは次のとおりです。アプリケーションはパフォーマンス テストで適切に動作します。 これが実稼働用にリリースされ、実際のワークロードの処理を開始します。 ここで、ユーザー要求の拒否、失速、例外のスローなど、パフォーマンスが悪化し始めます。 開発チームは 2 つの質問に直面します。 なぜこの動作がテスト中に現れなかったのか。 どうやって直すか
AV-Comparatives が実施したアンチウイルスソフトウェアのシステムパフォーマンスへ与える影響を調べるテストで、Microsoft Defender が 17 製品中 16 位となっている (Performance Test April 2022、 Neowin の記事、 BetaNews の記事)。 テストはファイルのコピーと圧縮・展開、ダウンロード、アプリケーションのインストール・アンインストールと起動、ウェブブラウズの各項目から算出する AVC スコアと、PC Mark 10 Professional のテスト結果から算出するスコアの合計で評価する。AVC スコアは各テスト項目を全製品中の相対的なパフォーマンスにより遅い (0 点)・普通 (5 点)・速い (10 点)・非常に速い (15 点) の 4 段階で評価し、90 点満点。PC Mark 10 のスコアはアンチウイ
はじめに 最近、JMeterを使ってパフォーマンステストをやっています。学んだことを残すため記事に書いておきます。 初めてJMeterに触りパフォーマンステストについて考え始めるきっかけになれば幸いです。 JMeterとは 公式ページは以下のものになります。 また、日本語でも解説ページが色々あるので、引用を載せておきます。 JMeterはApacheソフトウェア財団が開発しているオープンソースの負荷検証ツールです。 サーバに対して指定した量のリクエストを送り、そのレスポンスを受けることで、パフォーマンス計測することができます。 JMeterはApacheの公式サイトからダウンロードできます。 （Javaを入れていない方は、インストールしてからご使用ください。） JMeterはGUIモードとNon-GUIモードがありますが、ここではGUIモードの説明をします。 （https://www.wa
VRChat CPUパフォーマンステスト 2022/07
概要 VRChatでの以下の要素がCPU負荷に及ぼす影響を測定する。 Easy Anti-Cheat5800X3Dの3D V-CacheRyzen CPUのCCD制限 *参考サイト(https://sk7z.hatenablog.com/entry/2020/11/14/051522)DynamicBoneからPhysBonesへの変更Windows 10からWindows 11への変更 注意事項 このベンチマークではGPU負荷の変動は対象外とする。 実際のFPSは環境、設定、状況に依存する。 測定環境 VRヘッドセット VIVE Pro Eye PC M/B ASRock Steel Legend B550 (AGESA Combo V2 PI 1.2.0.6b) CPU1 AMD Ryzen 9 5900X@定格 （AMD Ryzen チップセットドライバ 4.06.10.651） C
要約 DevOps や SRE を実践する人向けに、Playwright による E2E テストを Artillery の負荷掛けシナリオとして利用する手法についてハンズオンを交えて紹介します。 課題としては、Playwright で自動生成したスクリプトを手直ししないと難しいパターンがあることを挙げています。 その他、Tips もあります。 はじめに NSSOL Advent Calendar 2022 の 13 日目にも投稿しました、とうふです。 先の記事で軽く説明した通り、私がいま参画している案件では E2E テスト用のスクリプトを流用したパフォーマンステスト を行なっています。 本記事では、Playwright で作成した E2E テストスクリプトを使って負荷掛けを行うことでパフォーマンステストを実施する手法について紹介します。 前提知識 Playwright とは Playwri
コマンドのみ確認# smtp-source -m 100 -s 10 -l 10000 -S 'test mail' -f relay@test.local -t user01@test.local 192.168.11.11:25 # smtp-sink -u root -c 192.168.11.12:25 100000 メール送信ツール：smtp-source利用する環境は、先日作成した環境を利用しております。 # which smtp-source //コマンド確認 Postfixを導入すればセットで導入されているはず /usr/sbin/smtp-source # smtp-source -m 100 -s 10 -l 10000 -S 'test mail' -f relay@test.local -t user01@test.local 192.168.11.11:25 上記
負荷テストとパフォーマンステストの違い
ソフトウェア開発において、シームレスなパフォーマンスと最終成果の品質を確保するために、品質保証は非常に重要である。そして、品質保証といえば、テストが欠かせません。ソフトウェアテストには複数の種類があり、開発プロセスにおける役割や目的もそれぞれ異なります。例えば、ユニットテストはビジネスロジックを検証するために行われ、インテグレーションテストはコンポーネント間の相互作用を検証する。この記事では、アプリケーションやソフトウェアの最大容量や、特定の条件下での性能を評価するために使用される2つのテスト方法、パフォーマンステストとロードテストについて言及します。しかし、この2種類のテストは、その類似性から、しばしば互いに混同されます。そこで、両者の主な違いをすべて概説することで、その違いを明らかにします。 パフォーマンステストとは？ソフトウェアテストの一種です。アプリケーション、システム、またはソフ
InfoScale 7.4.2 for RHEL on AWS パフォーマンステスト結果大公開 - Qiita
はじめに InfoScale は、AWS上のRHELでの動作を保証しており、主なメリットとして以下2点が挙げられます。事実、オンプレミスの世界では、下記のメリットを享受する為に多くの企業がInfoScaleを導入しています。 １．独自のストレージ管理機能により、ストレージ（AWSの場合はEBS）メンテナンス時のダウンタイムや作業工数を削減 ２．独自のクラスタリング機能により、アプリケーションやOSレベルの障害をカバーできる可用性の向上 しかし「クラウド上のI/Oパフォーマンス管理はオンプレと違って難しいのに、AWS上にInfoScaleを導入する事によって、さらに複雑になるのでは？」という懸念が根強いのが実情です。本記事では、そのような不安を払しょくするために、InfoScale7.4.2 RHEL版を AWS上に構築した代表的な構成におけるI/Oパフォーマンステスト結果を公開します。また
このトピックでは、Linuxベース・イメージから作成されたインスタンスに対してOracle Cloud Infrastructure Block Volumeサービスのパフォーマンス・テストを実行するために使用できるサンプルFIOコマンドについて説明します。
リアルユーザーモニタリングを使用した Amazon CloudFront のパフォーマンステストの準備と実行 | Amazon Web Services
Amazon Web Services ブログ リアルユーザーモニタリングを使用した Amazon CloudFront のパフォーマンステストの準備と実行 このブログ記事は、AWS エンタープライズサポート担当テクニカルアカウントマネージャーの Tanya Pahuja と Sumit Bhardwaj 、および AWS シニアソリューションアーキテクトの Karan Desai によって書かれました。 消費者向けのウェブサイトやモバイルアプリでは、ユーザーの画面にコンテンツが読み込まれるスピードが、ユーザーのブラウジング体験やビジネスの成功に直接影響します。コンテンツの読み込みに時間がかかると、ユーザーはトランザクションを完了する前にページを放棄する可能性があり、収益に影響します。Amazon CloudFront のようなコンテンツ配信ネットワーク（CDN）を利用すれば、データ、動画
【Unity】Test Runnerでパフォーマンステストを行うPerformance Testing Extensionの使い方まとめ - LIGHT11
UnityのTest Runnerでパフォーマンステストを行うPerformance Testing Extensionの使い方についてまとめました。 はじめに セットアップ メソッドのパフォーマンスを計測する 計測結果を見る プロファイラのマーカーを指定して特定の処理のパフォーマンスを計測する スコープを使って処理時間を計測する 時間以外のものを計測する 関連 参考 Unity2020.2.7f1 Performance Testing Extension 2.8.0-preview はじめに Performance Testing Extension for Unity Test Frameworkは、 UnityのTest Runnerでパフォーマンステストを行うための拡張機能です。 処理時間やメモリ量などを計測し、結果を視覚的に表示することができます。 docs.unity3d.c
VMware vSphere を構築したら「物理ホスト」「仮想マシン」含めてパフォーマンステストをします。 その際に必要となるヒントや情報を記載します。 →書き殴るような感じになっています。 基本的に VMware vSphere の仮想マシンのパフォーマンスは ESXiサーバー（物理ホスト）のリソース次第になります。 しかし ESXiサーバーのリソース次第と考えると、オーバースペックの物理サーバーを複数台購入してもほとんどリソースを利用していないという非常にもったいない、本来支払わなくてもいいような費用を毎月数百万円支払っていたということになりかねません。 そのためサービスのパフォーマンスを落とさずにバランスよく、低コストで運用するためにパフォーマンステストが必要になります。 パフォーマンステストの目的 VMware vSphere 構築後だけではないですが、普段構築後にシステムに対して
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
概要 k6のパフォーマンステスト種別一覧ページをもとに、 それぞれの試験目的と概要を、目的別に纏めました。 目的別、パフォーマンステスト一覧 目的：システムの安定動作評価 Smoke tests（スモークテスト） Average-load test（アベレージロードテスト） Soak tests（ソークテスト） 目的：高負荷時のシステムの動作評価 Breakpoint tests （ブレイクポイントテスト） Stress tests（ストレステスト） Spike tests（スパイクテスト） 目的：システムの安定動作評価 低い負荷の状態で、システムが安定して動作するかを評価します。 実行タイミングは機能改修時や新機能追加時など、必要な場合はいつでも実行しましょう。 次の負荷試験が該当します。 Smoke tests（スモークテスト） Average-load test（アベレージロードテス
米StormForgeは12月15日、パフォーマンステストのオープンソースプロジェクト「VHS」（仮称）を発表した。HTTPトラフィックのレコードと再生を行うもので、any-to-anyフレームワークによる現実にあった性能テストの実現を図る。 StormForgeは運用環境のKubernetesアプリケーションテスト技術のベンダー。2019年創業のスタートアップCarbon Relayが、負荷テストのドイツStormForgeを買収し、社名と事業戦略を変更した。これにより、クラウドネイティブアプリケーション性能テストと最適化をメインのフォーカスとしている。 同社が発表したオープンソースプロジェクトは、自社の性能テストと最適化ポートフォリオが関連したニーズを埋めるべく、社内プロジェクトとして開発を進めてきたもの。ライブトラフィックのレコードと再生を行うことから「VHS」という仮称をつけている
InfoScale 7.4.2 for RHEL on Azure パフォーマンステスト結果大公開 - Qiita
はじめに InfoScale は、Azure上のRHELでの動作を保証しており、主なメリットとして以下2点が挙げられます。事実、オンプレミスの世界では、下記のメリットを享受する為に多くの企業がInfoScaleを導入しています。 １．独自のストレージ管理機能により、ストレージ（Azureの場合は Standard SSD 等のブロックストレージ）メンテナンス時のダウンタイムや作業工数を削減 ２．独自のクラスタリング機能により、アプリケーションやOSレベルの障害をカバーできる可用性の向上 しかし「クラウド上のI/Oパフォーマンス管理はオンプレと違って難しいのに、Azure上にInfoScaleを導入する事によって、さらに複雑になるのでは？」という懸念が根強いのが実情です。本記事では、そのような不安を払しょくするために、InfoScale7.4.2 RHEL版を Azure上に構築した代表的な
負荷テストツールであるwrkの改良版、wrk2で遊んでみます。 ついでに有志によるwkr2の結果を可視化するツールをつかって、RPSの変化によってどのようにパフォーマンスが落ちていくか確認してみます。 用意するもの 今回、さっと試す用にdocker-composeで一連のツールをまとめた環境を作成しました。 https://github.com/RyujiKawazoe/wkr2_visualizer 中身 wrk2 wrk2が積んであるイメージwrk2-dockerを使わせていただきました。有志に感謝！ hdr-plot 偉大な可視化ツールをつくってくれた有志に感謝！ 説明 用意した環境のdocker-compose.ymlの中身は下記となっています。 version: '3' services: wrk2: image: 1vlad/wrk2-docker entrypoint: /b
Power Appsモデル駆動型アプリのパフォーマンステストをどのように行うのかを検討した際に、オープンソースの負荷テストツールであるJMeterについて調査する機会がありました。 本記事では、JMeterを使用したモデル駆動型アプリのパフォーマンス計測方法について、紹介していきたいと思います。 概要 特徴 JMeterの利用準備 ブラウザの動作記録によるテストシナリオの作成 パフォーマンステストの実行 テスト結果の確認 まとめ 概要 JMeterはApacheソフトウェア財団が開発しているオープンソースの負荷テストツールで、Javaで作成されています。サーバーに指定した量のリクエストを送信し、そのレスポンスからパフォーマンスを計測することができます。 Power Appsのようなパッケージ製品は負荷テストツールが少ないですが、JMeterはMicrosoftも推奨しているテストツールにな
こんにちは！w2ソリューションの長岡です。今回は以下のような方を対象に、私が実務で使用しているパフォーマンステストツールを３つ紹介したいと思います。 パフォーマンステストを依頼された人：「上司からパフォーマンステストをして欲しいとお願いされたけど、何をすればいいのかな？パフォーマンステストを行うときはどんなツールを使用すればいいのかな？」 この記事を読むことで、目的に応じて最適なパフォーマンステストツールを選択した上で、パフォーマンステストを実行することができるようになります。 それでは、私が実務で使用しているパフォーマンステストツールを３つ紹介していきたいと思います。
英語の授業にパフォーマンステストを導入しよう！ 英語の授業にパフォーマンステストを導入しましょう！ 実施前は私も「パフォーマンステストって未知の世界！」と思っていましたが、１年の流れをつくってしまえば、翌年からスムーズに実施できます。 また、授業の中で生徒全員分の英語のパフォーマンスを評価することは難しいので、しっかりと生徒の力を評価する上でも、パフォーマンステストの実施が必要です。 パフォーマンステストは、年度が始まる前に、計画を作成し、実施できるのがベストです！ 間に合わなかった場合は、教科書のLessonの内容を確認しつつ、「ここならスピーキングが実施できそう！」などと計画を立てて実行するのがおすすめです！ 英語の授業でパフォーマンステストを実施すると、４技能が鍛えられる
ソフトウェアテストやテスターに関する話題やテスト管理ツール TestRail のトピックをお伝えします。 この記事はBob Reselmanによるゲスト投稿です。 GraphQLは、2012年にFacebookでニュースフィードデータの送信方法を改善することを目的として開発され、利用されるようになったAPIアーキテクチャです。2015年にオープンソース化されて以来、GraphQLは広く採用されており、Atlassian、Credit Karma、GitHub、Intuit、KLM、Pinterest、Shopify、The New York Times、WordPress、Yelpなどの企業のAPIを支えています。 FacebookはGraphQLを仕様として開発しました。この仕様は Node.js、Ruby、Python、PHP、Java、C#など、多くのテクノロジーで実装されています。
パフォーマンス テストに関する推奨事項 - Microsoft Azure Well-Architected Framework
この Azure Well-Architected Framework パフォーマンス効率チェックリストの推奨事項に適用されます。 PE:06 パフォーマンスをテストする。 運用環境に一致する環境で定期的なテストを実行します。 パフォーマンス目標とパフォーマンス ベンチマークと結果を比較します。 このガイドでは、テストに関する推奨事項について説明します。 パフォーマンス テストは、さまざまなシナリオでワークロードの機能を評価するのに役立ちます。 ワークロードがパフォーマンス要件を満たしていることを確認するために、ワークロードの応答時間、スループット、リソース使用率、安定性のテストが含まれます。 テストは、パフォーマンスの問題を防ぐのに役立ちます。 また、ワークロードがサービス レベル アグリーメントを満たしていることを確認するのにも役立ちます。 パフォーマンス テストを行わないと、多くの場
パフォーマンステストと負荷テストの違いを理解する
概要 表題のテストの要件を定義する際に、役割が似ており、相互補完の役割を担っています。 しかしその結果、実際に求められているものがどちらなのかを見誤り、 測定方法や結果がズレることがあります。 この記事では各々の定義の差異を明らかにして、 計測したい目的とあったデータを提供できることを目的にします。 1. パフォーマンステスト システムのスピード、応答時間、安定性、信頼性などを測定するためのテストです。 特定のワークロード条件下 で、システムがどのように機能するかを評価するために行います。 先に定めた条件下で、システムの性能を検査し、ボトルネックになっている部分はどこなのか、 改善点はあるのかを明らかにするために行います。 ワークロード条件下 PM８時台のアクセスユーザー数を想定、など具体的な再現条件を指します。 利用できるテストパターン Average-load test（アベレージロー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
パフォーマンステストツール「Ddosify」を使ってみた - JMDC TECH BLOG
フロントエンドのパフォーマンステストが可能になったk6（v0.44）とWeb Vitalsの解説
携帯型ゲーミングPC「ROG Ally」に搭載されたSoC「Ryzen Z1」のパフォーマンステストを行った結果とは？
パフォーマンス テストとアンチパターン - Azure Architecture Center
Microsoft Defender、AV 製品パフォーマンステストで 17 製品中 16 位 | スラド IT
パフォーマンステストとは～JMeter実践についてまとめる - Qiita
Playwright と Artillery によるパフォーマンステスト - Qiita
メールサーバのパフォーマンステスト、負荷テストで大量にメールを送る方法
Linuxベース・インスタンスでブロック・ボリューム・パフォーマンス・テストを行うためのサンプルFIOコマンド
【VMware】VMware vSphere のパフォーマンステストの方法について
Catchpointが拡張WebPageTestパフォーマンステストAPIの一般向け提供を発表
【k6】システムの性能評価：パフォーマンステストのガイドと目的別簡易まとめ
米ベンチャー、パフォーマンステストのオープンソースプロジェクトを立ち上げ | OSDN Magazine
wrk2を使ってパフォーマンステストをし可視化してみる。 - Qiita
JMeterを用いたPower Appsモデル駆動型アプリのパフォーマンステスト - JBS Tech Blog
私が実務で使用しているパフォーマンステストツール３つ | Tech Media | W2株式会社
英語の授業にパフォーマンステストを導入しよう！【実践例付き】
GraphQL APIのパフォーマンステスト - TestRail Blog