毎秒1万リクエストの負荷試験をした話 - pixiv inside
はじめまして。ピクシブで広告関連のプロダクトを開発しているeastです。今回は、社内で運用している広告配信サーバーの負荷テストを実施したので、その話をしたいと思います。 経緯 ピクシブの広告配信サーバーは、pixiv本体を中心に複数のサービスに対して広告配信を行なっています。現在私はこの広告配信サーバーの大規模改修を行なっているのですが、先日ついに広告配信サーバーの改修がほぼ完了したので、試しに負荷試験を行なってみたいと思い立ちました。 目標は毎秒1万リクエスト ピクシブの広告配信サーバーへのリクエスト数はDailyで 4〜6億req もあり、これは毎秒平均に直すと約 5,000RPS(Request Per Second) になります。さらに、ピークタイムである休日の深夜帯には 12,000RPS にも達します。つまり新しい広告配信サーバーにも、毎秒12,000のリクエストを捌く性能が必
Linux Performance Tools
Aug 20, 2014702 likes233,397 viewsAI-enhanced description This document provides an overview of performance analysis tools for Linux systems. It describes Brendan Gregg's background and work analyzing performance at Netflix. It then discusses different types of tools, including observability tools to monitor systems, benchmarking tools to test performance, and tuning tools to optimize systems. A n
Navigation Timingだからできる、Webアプリを俯瞰したパフォーマンス計測(1/3)
Navigation Timingだからできる、Webアプリを俯瞰したパフォーマンス計測(1/3) 川田寛（ピクシブ株式会社） こんにちは、html5jパフォーマンス部、スタッフの川田です。5月8日ですが、私たちのコミュニティ主催で勉強会を開催することになりました！！ そして、残念なお知らせです。募集した直後に、席が埋まってしまいました！せっかく、これだけ多くの方にパフォーマンスへ興味を持っていただいたのに、このままじゃもったいない！ なので本記事では、この勉強会で語られない、別の切り口からパフォーマンスについて語ってみようかと思います。内容は、私が技術評論社「Software Design 2014年5〜7月号」にて連載しております、「Web標準技術で行う、Webアプリのパフォーマンス改善」で扱っているテーマの一部を、Web向けに書き直したものです。 Webアプリのパフォーマンス計測は簡
スケール可能なTwitterの負荷テストの仕組み [GTAC 2013] - ワザノバ | wazanova.jp
[Video] http://www.youtube.com/watch?v=99RABfKNfcY [Slide] http://goo.gl/9VY2b TwitterのJames Waldropが、オープンソースのロードジェネレータライブラリlagoと、スケールが可能な負荷テストの仕組みについてGTAC (Google Test Automation Conference) 2013で語ってます。Twitterには本番トラフィックの一部を利用したテストもありますが、本講演ではテスト環境でのロードジェネレータを話題にしてます。 FacebookからTwitterに転職し、lagoをつくった理由は、 ありあわせのツールをもってきて使ってもだめで、エンジニアであれば何か開発しないと他のエンジニアから尊敬されない。 Scalaで書いてみたかった。 既存のロードジェネレータはどれも役に立たない
ifstatって便利そうなの見つけたのでついでに*statを紹介 - As a Futurist...
今更感もありますがすごい便利そうなツール発見。ネットワークインターフェイスのトラフィックを簡単にモニタリングできるツール。 ifstat CentOS とかだったら rpmforge にあるみたいなので、こんな感じで。(レポジトリ設定してなければ適当に) yum install --disablerepo=* --enablerepo=rpmforge ifstat チーミングしてる環境で出してみるとこんな感じ。-iで並び順も指定できたり、-bで Kbps にできる。vmstatと違って-tで timestamp も出せるのでこれ単体で便利に使えそうですね。ちなみに Linux の場合/proc/net/devを使ってるそうです。 *stat 系のツール 便利ですよね。パッとサーバに入って今起きている問題を分析するのにこれらのツールを使うのは有用です。top しか見ない人は覚えておくといい
Ifstat
Ifstat ifstat is a tool to report network interfaces bandwith just like vmstat/iostat do for other system counters. ifstat gathers these statistics from the kernel internal counters, which is highly operating system dependent. Right now, the following systems are supported: Linux >= 2.2.0 (through /proc/net/dev file). FreeBSD >= 2.2 (using the ifmib(4) interface). Solaris >= 5.6 (using the kstat(3
サーバ監視に超使える〜topコマンドのまとめ:phpspot開発日誌
サーバ監視に超使える〜topコマンドのまとめ サーバを運用しているとよく使うtopコマンドですが、標準のtop以外にも色々便利なものがあるのでまとめてみました。 ボトルネックといえば、ネットワーク、ディスクIO、スワップ、CPU、メモリといったものが関連しますが、ツールで視覚化することでより分かりやすい対策がとれますね。 htop こちらも、通常のtopよりもさらに多数の情報を表示してくれるツール。 CPUやメモリの状態が視覚的にグラフで表示されていたり、複数CPUがある場合もそれぞれに利用率を表示してくれてわかりやすいです。 pstreeで表示するようなツリー+topコマンドのような表示も t を押せば切り替えられます。 公式サイト上にある128コア積んだマシンのhtop結果が面白い。 次のようにすべてグラフで表示されているため、128コアあったとしても瞬時に負荷が把握できますね。 io
Biz∫のWEBアプリケーションの負荷テストをしたい(2) - 履歴
さて今日は、私自身もキチンと理解できていなかったスレッドグループの各種設定について検証します。 手始めに、 先頭ページを開く ログオンする ログオフする といった簡単なシナリオを作成し、スレッド数3、Ramp-Up期間30、ループ回数1に設定してみます。（下の図） 結果以下のようになりました。 Ramp-Up期間とはスレッドを生成し終わる期間ととらえることができます。よって、下の図の結果のように、 Ramp-Up期間(30秒)/スレッド数(3)=10秒ごとにスレッドは生成されます。 今回のシナリオがとても単純で短時間で終了するため、図にすると以下のようになり、同時実行数は1となっています。 つぎに、ループ回数を増やしてみます。 下の結果となりました。ループ回数は、それぞれのスレッドが終わった後に、そのスレッドをもう一度繰り返すパラメータのようです。 １−２−３−１−２−３ではなく、１−１−
JMeterでの負荷・性能テスト - shibainu55日記
システム開発のでは製造・構築フェーズが終わると当然のことながら各種テストを行う。今回は、その中でもよくシステムテストと呼ばれるフェーズに含まれることの多い負荷・性能テストに関するお話。 ＜テストツールの検討と選定＞ 私の経験では、これまで行ってきたテストでは、規模やシステムの特性に応じて以下のようなテストツールを選定・使用してきた。 OSS等のフリーのテストツール(JMeter、Apache Bench、httperf、http://www.microsoft.com/japan/technet/archive/itsolutions/intranet/downloads/webstres.mspx?mfr=trueMS Web Application Stress Tool) 自作テストツール(Perl、シェルスクリプト等) 商用テストツール(Loadrunner等。※個人的にはあまり経
負荷テストあれこれ-JMeter 負荷のかけ方、レポートの見方- | A Day In The Boy's Life
「負荷テストあれこれ-JMeterの使い方- 」で、JMeterの利用方法について触れましたが一番肝心のレポートの見方について書いてませんでしたので、今回はその点を。 今回の記事をまとめるにあたり、下記の資料を参考にさせていただきました。 Apache JMeterで負荷試験をしよう！＠JaSST 負荷テストの方法やレポートの見方について触れる前にまず、何を目的で負荷テストをするかについて触れてみたいかと。 これも様々なケースが想定されますが、取り合えず 1. 現在のインフラ、システムの構成でどれだけの負荷に耐えられるかを知る為 2. 想定される同時ユーザー数に耐えられるか検証したい 3. インフラ、システム構成の変更によりどれだけのパフォーマンスが向上したか知りたい の3つをケースを考えてみたいと思います。 まず前提となるテストシナリオを作る部分から。 これは、「ログイン→Aページ遷移→
『負荷テストあれこれ-JMeterの使い方-』
前回、「負荷テストあれこれ-Microsoft Web Application Stress Tool- 」で、簡易的に行える負荷ツールについて書きましたが、もう少し複雑なシナリオで負荷テストができるJMeterというツールについても書いてみたいと思います。 JMeterは、MS Web Application Stress Toolに比べ負荷ツールとしては多機能ですがその分、使い方はMS Web Application Stress Toolより複雑になっています。 負荷テストの対象や用途に応じて使いわけを行った方がスムーズに行えると思います。 ・ Webアプリ以外のテストにも利用可能 FTPやSOAP、LDAP、JDBCリクエストのテストも可能。 参考： JmeterでDB負荷テストをやってみよう！ ・ SSL通信下でもテスト可 JDK1.4以上の環境であればそのまま利用できますが、そ
正しいベンチマークをするための10のポイント
世の中ではたくさんの人が独自にベンチマークを行ない、独自に情報発信がされています。そのベンチマークの中には、非常に参考になるものもあれば、現実性に大きく欠けるものもあります。競合他社が、ライバル社の製品にとって不利な条件でベンチマークを行い、それを発信することも日常的に行われています。ベンチマークの結果を鵜呑みにすることは危険で、結果の意味を判断するスキルを持つことが重要です。これはプロジェクトにおいて負荷テストを行う場合にも重要です。負荷テストの条件設定が正しいかどうかを判断できるようになるためです。 ここでは、私がDBサーバのベンチマーク/負荷テストを行ったり結果を読んだりする上で、心がけているポイントを10個ほど紹介したいと思います。 ■ハードウェアに関する4つのポイント 1. ハードウェアのスペックと設定を注視する ハードウェア構成によってベンチマーク結果は劇的に変わるので、言わず
JMeterを利用した負荷テストでどのようにスレッド数、Ramp-Up期間、ループ回数をどうやって決めるか考える - 基本へ帰ろう
what 前回の測定は、Ramp-Up期間がすべて 1 という極端なものであり、あまりよろしくないと聞いた。 そのため、再度、負荷テストを行う。 今回行いたい測定は、前回同様「サーバの負荷限界値」である。 負荷計測環境 前回とほぼ同じだが、負荷テスト対象のWebアプリケーションのバージョンが少々あがっている。 妥当なRamp-Up期間の決定について JMeterで負荷テストするのはいいのだが、以下の数値をどのように決めるのに非常に悩む。 スレッド数 Ramp-Up期間 ループ回数 どうしたらよいものか、考えてみた。 itarchitect.jp 上記にテストシナリオ作成のヒントが書いてあるので読んでみた。「現実に即したテスト」という視点が非常に重要であると書いてある。 記事のヒット率の以下のようになる。 スレッド数が大きい場合は、Ramp-Up期間を「0」に設定すべきではない。（異常な状態
JMeterで負荷計測やってみた - 基本へ帰ろう
what 負荷テストを行ったのでそのメモ 負荷計測ツール JMeter を利用しました。 負荷計測環境のポイント 参考 => 5.JMeterでのテストの作成・実行 また、以下の点などにも気をつけてください ・JMeterを起動するマシンとテスト対象マシンを分ける →同一のマシン上で動作させると、正確な測定結果を得られません ・最初の内は、JMeterを起動するマシンとテスト対象マシンは同一ネットワーク内に配置する →パフォーマンスが悪かった場合など、ボトルネックがネットワークにあるのか、テスト対象マシンにあるのか、判別がつきづらくなります 今回は、『JMeterを動かすPC』をWindowsで動かし、『テスト対象マシン』をLinuxにしました。 負荷計測結果 Throughput 結果 160 ( 160.7017781 ) でした。 スレッド数 200 までは、上昇しますが、それ以降は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bitbucket | Git solution for teams using Jira
https://blogs.oracle.com/yappri/sys
WindowsのパフォーマンスモニタでCPUとディスクのロードアベレージを表示させる：Tech TIPS - ＠IT
Hammer | Customer experience testing and assurance
itarchitect.jp