リニューアルした日経電子版が高速すぎてヤバイ件｜こんぴゅ
日本経済新聞は国内を代表する経済誌だ。その電子版はwebでの継続課金を大成功させ、いまや50万以上の有料会員を擁するモンスターサイトだ。 その日経電子版が11月6日に全面リニューアルしたのだが、公開後、web業界がにわかにざわついた。表示速度が爆速だったのだ。日経公式もモバイルで2倍の表示速度を達成したと堂々と宣言していた。 webサービスは継続率こそ神KPIで、その継続率には速度が大きく影響する。 これはチェキらないとヤバイと感じ、友人のkitakさんとスピードの秘密を調査してみた。 Fastlyをコンテンツキャッシュに使う殆どのデータはFastlyを経由して取得されていた。Fastlyは最近注目を集めているCDN（世界中にエッジサーバーを配置し、高速にコンテンツを配信するサービス）で、非常に高機能でユニークなサービスだ。 一般に、CDNはいったん世界中にコンテンツをばらまくと、それを無
Webサーバのベンチマークツールはh2loadが便利 - 人間とウェブの未来
Webサーバのベンチマークをとるのが趣味になりつつあるmatsumotoryです。 Webサーバのベンチマークについては、abからはじまりwrk等を使っていたのですが、最近ではほぼh2loadを使っています。 h2loadはnghttp2というHTTP/2ライブラリのアプリケーションに含まれているツールですが、 HTTP/2（SPDYも）とHTTP/1.xに両対応している ベンチマーク側の同時スレッド数を増やせる TLS及びSNIもサポートしている 最小、最大、平均、標準偏差あたりもちゃんとでる ので、色々プロトコルを変えつつ同じベンチマークツールで、値の目安を出すにはとても重宝しています。 Nghttp2: HTTP/2 C Library - nghttp2.org 実行結果のサンプルは例えば以下、 $ h2load -c 100 -n 10000 https://localhost:
Railsパフォーマンス基本のキ
Railsのパフォーマンスについてよくある問題とそれに対して戦いを挑むために必要なもの。
サーバの負荷テストのための、何百万ものHTTPリクエストを発生させる方法 | POSTD
(注記：6/9、いただいた翻訳フィードバックを元に記事を修正いたしました。) 今回の記事は毎秒300万ものリクエストを処理できるほど強力で高性能なWebクラスタの構築についてのパート1になります。まず初めに、あまり多くはありませんが、私がこれまで使用したことのあるロードジェネレータツールをいくつか紹介します。私のようにてこずって時間をかけてしまわないよう、今回の記事が理解の手助けになれば幸いです。 ロードジェネレータはテストを目的とした数種類のトラフィックを発生させるプログラムです。それによって高負荷においてサーバがどのように動いているか、そのサーバの弱点はどこなのか、などが見えてきます。負荷テストを通じてサーバの限界を知ることは、サーバのレジリエンシーを測定する最適な方法であり、あらゆる問題に対する準備の手助けにもなります。 ロードジェネレータツール 負荷テストをする際に頭に入れておくべ
ネットワーク/ストレージの処理能力をチェックするためのベンチマークツール 2ページ | さくらのナレッジ
サーバー上でさまざまなサービスを構築する前に、そのサーバーの処理能力を把握しておくことは重要だ。特にネットワークの帯域やストレージの速度といったリソースはサービスの品質に大きく関わってくる。そこで、今回はこれらの性能を調査するためのベンチマークツールやその使い方を紹介する。 ネットワークの性能を調査するベンチマークツール まずはネットワーク関連の性能を調査するベンチマークについて紹介しよう。ネットワークの性能といっても、その指標は次のように複数ある。 スループット（速度、帯域幅） レイテンシ（遅延） パケットロス（損失パケット） まず1つめは、スループット（ネットワークの速度）だ。帯域幅などとも呼ばれるが、ネットワークの性能としてもっとも重視されるのはこれだろう。ネットワークの速度が早ければそれだけ多くの情報をやり取りできるし、またより多くの接続に対して迅速に反応できるようになる。通常スル
Linux Performance
static, benchmarking, tuning: sar, perf-tools, bcc/BPF: bpftrace, BPF book: Images license: creative commons Attribution-ShareAlike 4.0. This page links to various Linux performance material I've created, including the tools maps on the right. These use a large font size to suit slide decks. You can also print them out for your office wall. They show: Linux observability tools, Linux static perfor
nginxパフォーマンスチューニング〜静的コンテンツ配信編〜 - Qiita
今回はHTMLやCSS、Javascriptといった比較的軽量な静的コンテンツの配信をnginxでやるケースに絞ってチューニングする際のポイントについて紹介しようかと思います。 (注：worker_rlimit_nofileやsysctl.confのネットワーク周りの設定のような定石的なチューニングについてはあえて解説しないのであらかじめご了承ください。) コンテンツをgzip圧縮する 何はともあれgzip圧縮です。ネットワーク帯域に比べればCPUリソースなんて安いものです。 しかし、多くの場合これだけでは十分ではありません。何故ならnginxはデフォルトではContent-Typeがtext/htmlのコンテンツしか圧縮しないためです。圧縮対象のContent-Typeを増やすにはgzip_typesを使います。 単純なWebサイトであれば上記の設定で十分ですが、場合によってはappli
nginx最大パフォーマンスを出すための基本設定 | Node.js技術
解説 worker_processes auto; - Nginx本体のプロセス数、autoにしてnginx内部判定に任せるのは賢明 worker_rlimit_nofile 100000; - workerプロセスが最大に開けるファイル数の制限。このように設定したら、ulimit -a以上のファイル数を処理できるようになり、too many open files問題を回避できる worker_connections 2048; - 一つのworkerプロセグが開ける最大コネクション数 multi_accept on; - できるだけクライアントからのリクエストを受け取る use epoll; - Linuxカーネル2.6以上の場合はepoll、BSDの場合kqueue server_tokens off; - セキュリティ対策です、エラー画面のnginxバージョン番号を非表示 sendf
ISUCON4 予選でアプリケーションを変更せずに予選通過ラインを突破するの術 - Hateburo: kazeburo hatenablog
AMIが公開されたのでもう一度やってみた。 AMIについてはこちらのエントリに書かれています ISUCON4 予選問題の解説と講評 ＆ AMIの公開 : ISUCON公式Blog まず ami-e3577fe2 を m3.xlargeで起動します。 CPUは model name : Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz でした。 とりあえず、MySQLのindexを追加する。init.shに追加 $ cat init.sh cat <<'EOF' | mysql -h ${myhost} -P ${myport} -u ${myuser} ${mydb} alter table login_log add index ip (ip), add index user_id (user_id); EOF ベンチマークツールのhttp keepal
YappoLogs: なぜ SQL_CALC_FOUND_ROWS や LIMIT OFFSET のページングが良く無いのか
なぜ SQL_CALC_FOUND_ROWS や LIMIT OFFSET のページングが良く無いのか ここ最近の大規模サービス関連したデータページング考です。 mysql 5.5.34 で試して記事書いてます。 bigdata テーブルは id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, PRIMARY KEY (id) なカラムがある前提です。もちろん InnoDB です。 2014年なんだからCOUNT(*)とかSQL_CALC_FOUND_ROWSとかLIMIT OFFSETのページングはやめようぜ - Togetterまとめが発端にみえるけど、わりと昔から話されてる事なんだけど、「nippondanji SQL_CALC_FOUND_ROWS」でググっても有用な情報ないし文書化されてないからしとく。 ページング処理で使われがちな機能です。 S
高負荷サイトのボトルネックを見つけるには : DSAS開発者の部屋
はじめに アクセスが急増すると、応答時間が著しく悪化するサイトはありませんか？ 普段は200ミリ秒以内で安定してアクセスをさばいているのに、イベントやらキャンペーンやらを開始した瞬間から、普段の２倍や３倍のアクセスが殺到し、その結果、レスポンスタイムが3秒とか9秒とかかかるようになってしまうことってありますよね。 あるサイトの実状 つい先日まで、そんなサイトが私の目の前にもありました。自社で運営している某ソーシャル系のサイトなんですが、イベント開始時刻と同時にアクセス数が急増するのです。とはいえ、所詮は普段の2倍とか3倍程度の数なのだから、少なくとも1秒以内にレスポンスを返せるくらいの性能は維持したいものです。 しかし実際は困ったことに、応答に3秒以上もかかってしまう処理が大量に発生してしまう状況に陥ってしまっていました。これはきっと、どこかにボトルネックがあるに違いありません。 仮説を立
エキスパートのためのMySQL[運用+管理]トラブルシューティングガイド - Qiita
This article is a Private article. Only a writer and users who know the URL can access it. Please change open range to public in publish setting if you want to share this article with other users. チューニング一般 innodb_flush_loag_at_trx_commit ログ書込またずにコミット完了するか マスタで1, スレーブで0,2がよく使われる innodb_flush_method O_DIRECT がシステムバッファを防げておすすめ ext3を用いている場合はgrubでelevator=noopを設定する mysql proxy LBしたり、クエリをluaで解析したりできる co
![エキスパートのためのMySQL[運用+管理]トラブルシューティングガイド - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c28e9cdc269c7ccb92b5a8f8d3e9ba0b8f9bf9bd/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUUzJTgyJUE4JUUzJTgyJUFEJUUzJTgyJUI5JUUzJTgzJTkxJUUzJTgzJUJDJUUzJTgzJTg4JUUzJTgxJUFFJUUzJTgxJTlGJUUzJTgyJTgxJUUzJTgxJUFFTXlTUUwlNUIlRTklODElOEIlRTclOTQlQTglMkIlRTclQUUlQTElRTclOTAlODYlNUQlRTMlODMlODglRTMlODMlQTklRTMlODMlOTYlRTMlODMlQUIlRTMlODIlQjclRTMlODMlQTUlRTMlODMlQkMlRTMlODMlODYlRTMlODIlQTMlRTMlODMlQjMlRTMlODIlQjAlRTMlODIlQUMlRTMlODIlQTQlRTMlODMlODkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWIyZGNiZWI0MDMzYmY1ODQxZDcyMzE4ZDk3YWZiMzAx%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwRGlhbnRodURpYSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MGVjMzgxMjYxOThlODJjZGNmOTcyN2U0NmI1NTVhNzE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D24362141ec125b88ff43c9514be96699)
Webエンジニアのための データベース技術[実践]入門 - Qiita
最終アクセス時間は、NoSQLがいい ユーザーデータ、などもできれば イベントデータは必ず別テーブルに DELETE mysql 5.5 では change bufferingを使って、delete 10倍高速にできる partition DROPのほうがよいが UPDATE innodb_flush_log_at_trx_commit=0 innodb_buffer_ppol_sizeを実めもりまであげる 監視 SHOW GLOBAL STATUS 更新頻度 並列度 CPUコア数に近いと限界に近い Threads_runninng SHOW GLOBAL STATUS分を-1する マスタの場合、BINLOG DUMPスレッド文も引く EventScheduler利用時はさらに-1する 遅いクエリを探す スロークエリログ SHOW FULL PROCESSLIST SET GLOBAL l
![Webエンジニアのための データベース技術[実践]入門 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e54b84f086ba2dceef899332387e56687ece4d8e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9V2ViJUUzJTgyJUE4JUUzJTgzJUIzJUUzJTgyJUI4JUUzJTgzJThCJUUzJTgyJUEyJUUzJTgxJUFFJUUzJTgxJTlGJUUzJTgyJTgxJUUzJTgxJUFFJTIwJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgzJTk5JUUzJTgzJUJDJUUzJTgyJUI5JUU2JThBJTgwJUU4JUExJTkzJTVCJUU1JUFFJTlGJUU4JUI3JUI1JTVEJUU1JTg1JUE1JUU5JTk2JTgwJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yZTFjNjVlZDNkYzJmYjgyN2ZhNjhjNWVlMTJjMDU1Ng%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwRGlhbnRodURpYSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MGVjMzgxMjYxOThlODJjZGNmOTcyN2U0NmI1NTVhNzE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dab781e39f6fead85c573a5254c53ef21)
tuningathon5_mysql56
1 チューニンガソン5の復習 MySQL 5.6 新機能編 MyNA(日本MySQLユーザ会)会 2013年3月 2013/03/15 平塚 貞夫 2 自己紹介 • DBエンジニアやってます。専門はOracleとMySQL。 – システムインテグレータで主にRDBMSのトラブル対応をしています。 – 仕事の割合はOracle：MySQL＝6：4ぐらいです。 • Twitter：@sh2nd • はてな：id:sh2 • • 写真は実家で飼っているミニチュアダックスのオス、アトムです。 3 前回のあらすじ 4 前回のあらすじ • チューニンガソン5の復習 MySQL 5.5 チート編 http://d.hatena.ne.jp/sh2/20130304 ベースライン ベースライン (2 回目 ) (1) バッファプール拡大 (2) クエリキャッシュ削除回避 (3)Bug#42197 対処 (
httperf でパフォーマンステストを行う - satococoa's blog
httperf は ab (apache bench) と同じようなツールで、サーバの負荷テストに使うことができます。 もうすぐリリースのサーバーに負荷をかける目的で使ってみたのでメモします。 インストール 1 2 3 4 # Homebrew $ brew install httperf # CentOS $ sudo yum install httperf URLリストを作る URLをファイルにまとめておいて、順番にアクセスさせることができます。 実際のユーザのアクセスに近い負荷を作り出すことができますね！ ちなみにファイルのフォーマットはnull文字区切りのテキストファイルです。nginxのアクセスログから作ってみます。 1 2 $ zcat /path/to/access.log-20121024.gz | awk '{ print $7 }' > urllist.txt $ tr
httperfによるWebサーバのベンチマーク - (・∀・)イイ!!Memo
構築環境: RedHat? 9 httperfとは † Httpサーバベンチマークツール。 httperfなら、Webサーバが毎秒100リクエストを受けながら、MySQLのベンチマークを行なうといったことが可能。 Apacheのabとの違いは、毎秒のリクエスト数を指定できるところ。 abはいつもCPUはフル稼動だ。 abでは「毎秒100リクエスト送った場合のCPUの負荷がどうなってるか」がわからない。 ↑ 使い方 † 例。 #httperf --server hostname --port 80 --uri /test.html \ --rate 150 --num-conn 27000 --num-call 1 --timeout 5 rate 1秒間に生成するコネクションの数。 1秒間に発生するリクエスト数は rate×num-callになる。 num-conn 総コネクション
httperf - TenForward
httperf をちょい突っ込んで使うので，関係しそうなオプションだけ man を超訳(←所々 ^^;)してみました． httperf [--add-header S] [--burst-length N] [--client I/N] [--close- with-reset] [-d|--debug N] [--failure-status N] [-h|--help] [--hog] [--http-version S] [--max-connections N] [--max-piped-calls N] [--method S] [--no-host-hdr] [--num-calls N] [--num-conns N] [--period [d|u|e]T1[,T2]] [--port N] [--print-reply [header|body]] [--print- re
Na-ga.net » Blog Archive » httperf man (OUTPUT) - Linux を中心とした忘却メモ
httperf の出力情報を正しく理解できるように man の OUTPUT カテゴリーを日本語訳にしてみた。かなり怪しい訳なので、参考にされる場合は英文と照らし合わせてください。大体の意味は理解できると思うが、意味が分からないところは英文のまま載せました。 OUTPUT このセクションは、各テストの終わりの統計出力について説明します。次に示された基本情報は、負荷生成のオプションに関わらず表示されます。 Total: connections 30000 requests 29997 replies 29997 test-duration 299.992 s Connection rate: 100.0 conn/s (10.0 ms/conn, Connection time [ms]: min 1.4 avg 3.0 max 163.4 median 1.5 stddev 7.3
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
High Performance Rails (long edition)
Na-ga.net » Blog Archive » httperf で Web サーバのベンチマーク - Linux を中心とした忘却メモ