実例に学ぶ動画配信サービスの負荷試験〜テストケース作成からツール選定、性能劣化への対応まで
実例に学ぶ動画配信サービスの負荷試験～テストケース作成からツール選定、性能劣化への対応まで ライブ動画ストリーミングプラットフォーム「SHOWROOM」で実施した負荷試験の内容とはどのようなものだったのでしょうか。DeNAのインフラ基盤を支えるエンジニア漢 祐介さんに、貴重なノウハウを徹底解説してもらいました！ サービスが業務に耐えうる処理性能を持っているかを検証するため、システムに対して擬似的に大量アクセスを発生させて反応を測定する「負荷試験」。サーバーの限界性能を見極め、安定稼働させるための指標や仕組みを作るために、なくてはならないものです。 では、多くの人が知るサービスは、どのような負荷試験を経てリリースされたのでしょうか。すでに運用段階にあるサービスの背後にある負荷試験のノウハウは、これから何らかのサービスをリリースしようとしているエンジニアにとって有用な情報です。 そこで今回は、
25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側 - LINE ENGINEERING
みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉 というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。 LINEのお年玉とは お年玉イベント期間中に、お年玉とLINEスタンプをセットで「お年玉つきスタンプ」として販売しました。対象スタンプを購入したユーザーさんは、スタンプ購入数 x 10個 のお年玉が付与されます。 こういったメッセージが受信されます ユーザーは自分がもっているお年玉を友だちに直接送ったりグループに送信することができ、お年玉を受け取
運用3年目から始めるパフォーマンス改善 ~モニタリング・MySQL・Fastly・アプリケーション~
こんにちは、Webエンジニアの Shimpei Takamatsu です。マンションマーケットエンジニアブログは今回からMediumに移行し、これが移行後1本目のエントリーです! 今回は直近2–3ヶ月ほど取り組んでいるパフォーマンス改善のお話です。 概要現在のマンションマーケットのサイトは初期バージョンのリリース後、リニューアルのためにスクラッチで作り直されており、 現在のメインリポジトリへの最初のコミットは2015/4/4でした。 開発開始から約2年半が経過したプロジェクト、ということになります。 今回のポストでは、運用3年目を迎えた私達のプロダクトがパフォーマンス面で直面した悩みを紹介した後、 実際にアクションに移した以下4つの施策についてご紹介します。 1. アーキテクチャの理解 2. モニタリング・監視 3. アーキテクチャ・ミドルウェアレベルでの改善(MySQL・Fastly)
Node.js Performance 改善ガイド - from scratch
Node.js Performance 改善ガイド Memory の場合 メモリリークかどうかを特定する メモリリークではない場合 CPU の場合 どこの処理に時間がかかっているのかを確認する v8 simple profiler flame graph を取得する File の場合 大きなサイズのファイルをどうしても扱う時 Network の場合 keepalive を on にする その他: 全体的にパフォーマンスを改善するためにやること JIT が効いているかを確認する clusterが使えないか検討する C++ addons vs JavaScript libraries まとめ 参考資料 Node.js Performance 改善ガイド この記事は Node.js 2 Advent Calender の 5日目の記事です。 qiita.com Node.js のパフォーマンスに
10ms以下のレスポンスタイムを支える継続的負荷テスト - taketo957の日記
この記事は、はてなエンジニアアドベントカレンダー2016の12月18日の記事です。 はてなエンジニアアドベントカレンダー2016を始めます - Hatena Developer Blog 昨日はid:ikesyoさんの「オープンソース活動への取り組み方」でした。 オープンソース活動への取り組み方 - Hatena Developer Blog こんにちは。はてなでWebオペレーションエンジニアとして働いているid:taketo957です。 2016年の4月に新卒として入社してからは、社内の仮想化基盤のリソース最適化に取り組んでみたり、 speakerdeck.com 社内の広告配信システムの刷新プロジェクトに関わってきました。 speakerdeck.com 本記事では広告配信システムの刷新を行う中で取り組んだ負荷試験環境を構築する際に考えたことと「継続的にパフォーマンス改善を行うためには
jstat - Java 仮想マシン統計データ監視ツール
形式 パラメータ 説明 仮想マシン識別子 オプション - 一般的なオプション - 出力オプション 例 関連項目 形式 jstat [ generalOption | outputOptions vmid [interval[s|ms] [count]] ] パラメータ generalOption 単独で使用する一般的なコマンド行オプションです (-help、-options、または -version)。 outputOptions 単一の statOption と、-t、-h、および -J オプションのいずれかを組み合わせた、1 つまたは複数の出力オプションです。 vmid ターゲットの Java 仮想マシン (JVM) を示す文字列である仮想マシン識別子です。一般的な構文は次のようになります。 [protocol:][//]lvmid[@hostname[:port]/servernam
負荷試験入門公開資料 201611
7. 高負荷の時はスケールアウトする Elastic Load Balancing EC2 instance web app server EC2 instance web app server EC2 instance web app server EC2 instance web app server EC2 instance web app server EC2 instance web app server EC2 instance web app server EC2 instance web app server EC2 instance web app server EC2 instance web app server EC2 instance web app server お金で解決する！
HiPE(High Performance Erlang)について - Qiita
日本語でHiPEについて触れている文書が少ない気がしたので、自分が知っている範囲の情報を取り留めもなく書いてみた。 ※ 経験ベースで書いているため情報の網羅性や信頼性にはあまり期待しないでください HiPEって何？ 「High Performance Erlang」の略。 HiPEコンパイラはOTPが提供する標準アプリケーションの中に含まれている(OTP17.3現在)。 HiPEコンパイラを使うと、ErlangのソースコードをVM(beam)のバイトコードとしてではなく、ネイティブコードとしてコンパイルしてくれる。 (JavaのJITコンパイラのように、実行時にネイティブコードへの変換を行なうわけではない) そのため、速度を重視したい(けどCで書く程ではない)モジュールを実装する場合に、HiPEが手軽な高速化の手段として重宝することがある。 HiPEを有効にするには ソースコードから自前で
PostgreSQL and MySQL: Millions of Queries per Second
This blog compares how PostgreSQL and MySQL handle millions of queries per second. Anastasia: Can open source databases cope with millions of queries per second? Many open source advocates would answer “yes.” However, assertions aren’t enough for well-grounded proof. That’s why in this blog post, we share the benchmark testing results from Alexander Korotkov (CEO of Development, Postgres Professio
いまさら聞けないLinuxとメモリの基礎＆vmstatの詳しい使い方 - Qiita
さくらインターネット Advent Calendar最終日は、硬派にLinuxのメモリに関する基礎知識についてみてみたいと思います。 最近はサーバーを意識せずプログラミングできるようになり、メモリの空き容量について意識することも少なくなりましたが、いざ低レイヤーに触れなければいけないシチュエーションになった際に、OSを目の前に呆然とする人が多いようです。 基本的にLinux のパフォーマンスについて、メモリをたくさんつめばいいとか、スワップさせないほうが良い とか、このあたりは良く知られたことだと思います。 ただ、なんとなく ps コマンドや free コマンド などの結果を見るだけでなく、もう少しメモリのことについて掘り下げてみてみたいと思います。 メモリとキャッシュ Linux におけるメモリの状態を大きく分けると「使用中のメモリ」「キャッシュ」「空きメモリ」「スワップ」の 4 つに分
Java開発の性能改善！ その１ jstatによるヒープ/GCの確認 - Qiita
JavaのWeb開発の開発後期になると性能試験や負荷試験を実施することになると思いますが、 そのフェーズになると色々な問題が起こることが多い。 今まで起きた問題と調査・解決方法をいくつかの回に分けて紹介しようと思います。 まずはメモリリーク。 長時間サーバを起動して運用していたり、負荷試験を実施するとメモリリークを起こすことがある。 ガベージコレクションのおさらい Javaのヒープは大きくnew領域(young領域)とold領域に分かれます。 new領域には生成されてすぐのオブジェクトが格納されてマイナーGCにて未使用になった際に開放されます。 マイナーGCを何度も繰り返されても開放されない(長く参照されている)オブジェクトは old領域へと移動され、こちらはメジャーGC(フルGC)で開放されます。(メジャーGCはnewとperm領域も開放。) もう少し細かく説明すると・・・ new領域は
サイトを37倍に高速化した7つの手法 - オールアバウトTech Blog
今回はオールアバウトのnnmrが弊社サイトAll About Japanの速度を高速化した経緯についてまとめます。 All About Japanとは そもそもAll About Japan（以下AAJ）とは何かといいますと、弊社が提供している訪日外国人向けの日本紹介サイトです。 外国人向けサイトで、英語、中国語（繁体字）、中国語（簡体字）、タイ語、韓国語の5か国語に対応しております。 「Anime」「Izakaya」「Ninja」といったような特集や、実際に観光する人向けのモデルルート記事が特色です。 ■ 特集 (url : http://allabout-japan.com/en/tag/sushi/ ) ■ モデルルート記事 (url : http://allabout-japan.com/en/article/222/ ) 技術的な紹介 LAMP環境です。 （サーバー構成は後に記述
サーバの負荷テストのための、何百万ものHTTPリクエストを発生させる方法 | POSTD
(注記：6/9、いただいた翻訳フィードバックを元に記事を修正いたしました。) 今回の記事は毎秒300万ものリクエストを処理できるほど強力で高性能なWebクラスタの構築についてのパート1になります。まず初めに、あまり多くはありませんが、私がこれまで使用したことのあるロードジェネレータツールをいくつか紹介します。私のようにてこずって時間をかけてしまわないよう、今回の記事が理解の手助けになれば幸いです。 ロードジェネレータはテストを目的とした数種類のトラフィックを発生させるプログラムです。それによって高負荷においてサーバがどのように動いているか、そのサーバの弱点はどこなのか、などが見えてきます。負荷テストを通じてサーバの限界を知ることは、サーバのレジリエンシーを測定する最適な方法であり、あらゆる問題に対する準備の手助けにもなります。 ロードジェネレータツール 負荷テストをする際に頭に入れておくべ
EC2でサーバーに負荷を発生させる stress ツールを使ってみる | DevelopersIO
はじめに こんにちは植木和樹です。Amazon Linux AMI 2014.09がリリースされて随分と経ちましたが、リリースノートにちょっと目を引いた記載がありました。 Amazon Linux AMI 2014.09 Release Notes New packages In addition to the features above, here are some other new packages added based on customer requests: ： stress-1.0.4 ： stressというのはCPUやメモリーの負荷を発生させるツールです。サーバーの高負荷状態でのアプリケーション挙動を確認する際に使用します。便利なツールなので使い方をおさらいしてみました。 stressの使い方 プロジェクトページ stressツールのプロジェクトページはこちらです。 s
7. 負荷テストの評価基準には何を使えばよいのか? | Oracle 日本
～テストツールを使う際の負荷量の指標～ 6. システムがパフォーマンスを維持するためのメモリ管理について に戻る はじめに 性能テスト、負荷テストを行う上では、達成すべき目標値の定義が必要となります。しかし、性能テストでは様々な指標が存在しており、どの指標をもって目標とし、結果を判定すべきか判断が難しい場合があるでしょう。 実際に、Webシステムの性能評価を行うための指標には以下があります： * 同時接続ユーザー数(Number of Virtual Users) * 時間あたりのユーザーシナリオ実行本数(Transactions per hour) * 時間あたりのページ処理数(Received pages per hour) * 時間あたりのヒット数（Hits per hour） * サーバー平均応答時間(Average Server times, etc.) * サーバー側のCPU
負荷テスト - Qiita
負荷テストとは 大量のデータを投入し、高い負荷をかけて 「ソフトウェアが正常に機能しているか」 確認するテストです。 ※長時間、高負荷が継続すると不具合 が起きてしまう可能性があるためです。 「単体テスト」や「結合テスト」だけでは見つけられない不具合がある。 また、想定のユーザー数でも耐えることができることを確認するためのテストでもあります。 負荷テストツール どんな負荷テスト想定しているかで変わります。 「大規模負荷テスト」「サーバ負荷テスト」「処理単位の応答時間」 高価なものから無償のものまでです。負荷テストツールの選定も大事な負荷テスト計画となりますね。 1.Apache Jmeter JMeterはJakartaプロジェクトが開発している無償負荷テストツールです。 GUIインターフェースを使ってかなり細かく負荷テストのシナリオを設定する事ができます。 レスポンスタイムが3秒以内を目
JMeterのMaster-Slave構成で目標スループットから負荷設定値を決める | DevelopersIO
目標リクエスト毎秒は 発行するリクエスト総数/総秒数 です。よって、JMeterのMaster-Slave構成の負荷試験においては、これらの変数の関連を次のように表現できます。 [latex] RPS = \frac{Slaves \cdot Threads \cdot Loop}{RampUp} [/latex] このうち、目標リクエスト毎秒（RPS）は今回の前提で固定値になります。また、ほとんどのケースではスレーブ台数（Slaves）とRamp-Up期間（RampUp）があらかじめ決まっていると思います。 その場合には、未知数がスレッド数（Threads）とループ回数（Loop）のみになります。これらの値は次の式で表現できます。 [latex] Threads = RPS \cdot \frac{RampUp}{Slaves \cdot Loop} [/latex] [latex] L
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webアプリケーションのキャッシュ戦略とそのパターン / Pattern and Strategy of Web Application Caching
http://info.appdynamics.com/rs/appdynamics/images/Top-10-Java-Performance-Problems.pdf
Gatling Load and Performance testing - Open-source load and performance testing
