LinuxのI/OやCPUの負荷とロードアベレージの関係を詳しく見てみる - Qiita
大人気TBSドラマ、「逃げるは恥だが役に立つ」でも話題になったインフラエンジニアという言葉ですが、今ではインターネットインフラを知らないまま開発をするのも難しい状況になっています。クラウドが一般化されたからといって単にリソースの調達が簡単になっただけで、つまりハードウェアの知識が無くても何とかやっていけるようになっただけであり、インフラの知識が要らなくなったなどということは全くなく、むしろdevopsの掛け声とともに、ソフトウェア開発者にインフラを見なければならない新たな責務が課せられたという、なかなか痺れる状況なのだろうと思います。 そういった中で、先日のさくらインターネットのAdvent Calendar最終日に「いまさら聞けないLinuxとメモリの基礎＆vmstatの詳しい使い方」という記事を書かせて頂きましたが、今回はLinuxサーバの「負荷」と、ロードアベレージに関して、掘り下げ
Webパフォーマンス虎の巻
Webパフォーマンス向上施策のために、今更ながら超速本1を読んだので、今までの自分の知見と合わせてまとめてみます。 なるべく柔らかく、改善施策ってまず何をどうすればいいの？という疑問を持った人に向けて書いています。 ▪️格言 そもそもWebは速い。遅くしているのは我々です。大抵は技術の問題ではなくて、人の問題。 引用元： テクニックではなく、今、本気で取り組むべきWebパフォーマンス （html5jパフォーマンス部 部長 竹洞さん） 心得 パフォーマンス向上に対する施策は大別すると以下の２通り 軽量化 （単純にやりとりするデータ容量を小さくすること） 圧縮 削除 最適化 （その時に最も適している実装・実行をとること） 経路・順番の変更 非同期 もっとも遅くしている原因を探して、それを対策するのが原則。「対効果」が絶対的正義である。手段から入るのは愚策。まず先に原因を知ることが重要。 ▪️1
いまさら聞けないLinuxとメモリの基礎＆vmstatの詳しい使い方 - Qiita
さくらインターネット Advent Calendar最終日は、硬派にLinuxのメモリに関する基礎知識についてみてみたいと思います。 最近はサーバーを意識せずプログラミングできるようになり、メモリの空き容量について意識することも少なくなりましたが、いざ低レイヤーに触れなければいけないシチュエーションになった際に、OSを目の前に呆然とする人が多いようです。 基本的にLinux のパフォーマンスについて、メモリをたくさんつめばいいとか、スワップさせないほうが良い とか、このあたりは良く知られたことだと思います。 ただ、なんとなく ps コマンドや free コマンド などの結果を見るだけでなく、もう少しメモリのことについて掘り下げてみてみたいと思います。 メモリとキャッシュ Linux におけるメモリの状態を大きく分けると「使用中のメモリ」「キャッシュ」「空きメモリ」「スワップ」の 4 つに分
負荷テスト・パフォーマンス測定ツールのJMeterのインストールと簡単な使い方 - Qiita
JMeterについて Apache JMeterは、負荷テストとパフォーマンスを測定するためのオープンソースのJavaアプリケーションです JMeterを使うとサーバーに対して、秒間1万リクエストなどの負荷をかけ、その応答時間などの指標を見ることでのパフォーマンスを測ることができます なんでJMeterを使うの？ 負荷テストツールには、ab(Apache Bench)やhttperfのようなコマンドラインから使うシンプルなものもありますが、JMeterではブラウザ辿ったページを記録して、それに対して負荷テストをしたり、CSRFトークンなどの情報をリクエストを簡単に付与できたりと詳細な設定をして負荷テストを行いたい場合に使用します JMeterの導入 JMeterのインストールと基本的な使い方について紹介いたします JMeterをインストール JMeterのバイナリファイルをApacheの公
UberのPostgresqlからNoSQL on MySQLへの移行を読んでざっくりまとめた
Uber-migrated-pg-to-mysql.md Why Uber Engineering Switched from Postgres to MySQL - Uber Engineering Blog のまとめ Posgresqlだと pgは追記型なので少しの更新でも多くのdiskへのwriteがおきる カラムを一つ更新しただけで多くのindexの書き換えが起こる よって、replicationはWALを送るので更新が多いとWALが大量に送られる repcliationでは物理的なdiskの変更を送る DC間でレプリするときつい bugがあってreplica間でMVCCの不整合が起きる masterとreplica同じdisk上のデータ構成を共有するのでupgradeがつらい cache readはsyscallとosのpage cache経由なので重い 1コネクション1プロセス
Webサーバのベンチマークツールはh2loadが便利 - 人間とウェブの未来
Webサーバのベンチマークをとるのが趣味になりつつあるmatsumotoryです。 Webサーバのベンチマークについては、abからはじまりwrk等を使っていたのですが、最近ではほぼh2loadを使っています。 h2loadはnghttp2というHTTP/2ライブラリのアプリケーションに含まれているツールですが、 HTTP/2（SPDYも）とHTTP/1.xに両対応している ベンチマーク側の同時スレッド数を増やせる TLS及びSNIもサポートしている 最小、最大、平均、標準偏差あたりもちゃんとでる ので、色々プロトコルを変えつつ同じベンチマークツールで、値の目安を出すにはとても重宝しています。 Nghttp2: HTTP/2 C Library - nghttp2.org 実行結果のサンプルは例えば以下、 $ h2load -c 100 -n 10000 https://localhost:
Apache Benchでサクッと性能テスト - Qiita
使ってみる 例えば、100ユーザが同時にhttp://www.example.co.jp/ に1リクエストを発行した場合を想定。 ab -n 100 -c 100 http://www.example.co.jp/ 同時に100ユーザが、1ユーザーあたり10リクエストを発行した場合を想定。 -nには100 x 10 = 1000を指定します。 ab -n 1000 -c 100 http://www.example.co.jp/ 接続先にベーシック認証がかかっている場合。 -Aの後にベーシック認証ユーザとパスワードを:（コロン）で区切って指定します。 ab -n 100 -c 100 -A hogeuser:hogepass http://www.example.co.jp/ 同時接続数よりTotal発行リクエスト数が少ないとエラーメッセージが表示されます。 同時に100人で合計10リクエ
【初心者向け】ApacheBench入門 ｜ DevelopersIO
こんにちは、虎塚です。 今週クラスメソッド社内で性能テストツールのApacheBench をテーマにした勉強会を行うことになりました（勉強会というと固い感じですが、経験者から知見をいろいろ教えてもらおうという雑談会です）。 そこで、ApacheBenchをまったく使ったことがない方の予習用に、ごく基本的な情報をまとめておきましたので、公開します。 ApacheBenchのインストール方法 Apache HTTP Serverをインストールします。 sudo yum install httpd または、apr-utilパッケージをインストールすれば、httpdをインストールしなくてもApacheBenchを利用できます。 sudo yum install apr-util ApacheBenchの特徴 ApacheBenchは、Apache HTTP Serverに同梱されている性能テストツ
Kazuho's Weblog: ウェブページの描画 (first-paint) までの時間を測定するツールを作った件、もしくはHTTP2時代のパフォーマンスチューニングの話
ウェブページの描画 (first-paint) までの時間を測定するツールを作った件、もしくはHTTP2時代のパフォーマンスチューニングの話 ウェブページの表示までにかかる時間をいかに短くするかってのは、儲かるウェブサイトを構築する上で避けて通れない、とても重要な要素です。 少し古いデータとしては、たとえば、ウェブページの表示が500ミリ秒遅くなると広告売上が1.2%低下するというBingの例なんかも知られているわけです。 「ウェブページの表示までにかかる時間」と言った場合、実際には以下のようないくつかのメトリックがあります。 イベント 意味
Webパフォーマンス管理の基本 1 - Qiita
はじめに Webパフォーマンスはパフォーマンスエンジニアリングの1つの分野 Webパフォーマンス管理は、Webサイトの非機能要求の性能や可用性を扱います。 専門用語では、コンピュータの登場と時期を同じくして登場したパフォーマンスエンジニアリングという分野に属します。 パフォーマンスエンジニアリング パフォーマンスエンジニアリングとは、Wikipediaでは以下のように記載されています。 Performance engineering encompasses the techniques applied during a systems development life cycle to ensure the non-functional requirements for performance (such as throughput, latency, or memory usage) w
C10K問題の今と未来 - geniee’s tech blog
唐突ですが、一回目の記事を書きます！ 今回は、主にウェブサーバー、具体的にはLinuxのSO_REUSEPORT（プログラミング言語としてはC言語)の話題になります。背景として、弊社では、広告配信がいわゆるネイティブアプリケーションであるため、ウェブサーバーの開発を行っているといったことが挙げられます。そもそも今回の記事を書いたきっかけは、弊社でSO_REUSEPORTを使用し始めており、それについて紹介したいと考えたからです。 特にC10K問題については TheC10kProblem - 「C10K問題」（クライアント1万台問題）とは、ハードウェアの性能上は問題がなくても、あまりにもクライアントの数が多くなるとサーバがパンクする問題のこと が詳しいので今回は説明を省略します。 また、Linux（正確にはKernel 3.9以降）におけるSO_REUSEPORTについては、 或るプログラマ
Why does speed matter? | web.dev
Why does speed matter? Stay organized with collections Save and categorize content based on your preferences. Consumers increasingly rely on the web to access digital content and services. If you look at your website's analytics, you can probably see this story playing out in your own data. Consumers are also more demanding than they've ever been, and when they experience your website, they aren't
SQLデータベースに正しインデックスを作るのは 誰の役割？
SQLのパフォーマンス問題は、SQLそのものと同じぐらいの歴史がある―― ある人は、SQLはそもそも遅いものだとすら言うかもしれません。これは、SQLの歴史が始まった頃は正しかったかもしれませんが、今となっては全く 当てはまらないでしょう。にもかかわらず、SQLのパフォーマンス問題は今も一般的でよくあることです。どうしてそうなってしまうのでしょうか？ SQL言語は、恐らく最も成功した第4世代言語(4GL)でしょう。その最大の利点は、「何を」と「どのように」 を分離できることです。SQL文は、どのようにそれを実行するかを記述せずに、単純に 何を必要としているかのみの記述になっています。以下のような例を考えてみましょう。 SELECT date_of_birth FROM employees WHERE last_name = 'WINAND'SQLのクエリは、データを要求する英語の文として読
【Apache】Webページの読み込みを高速化する設定(gzip圧縮/Expire) | バシャログ。
こんにちは、tanakaです。クロスバイクのタイヤが早速パンクしたので、お店まで5,6km 歩いて直しに行きました。ついでに自分で修理する方法も教えてもらいました。 シーブレインサイトリニューアルにあたり、Webページの読み込みが速くなるように2つ設定を追加しました。 今日はその設定について紹介します。 テキストコンテンツを gzip 圧縮して転送(mod_deflateを使う) 次の記述をVirtualHostディレクティブに追加します。 <IfModule mod_deflate.c> SetOutputFilter DEFLATE BrowserMatch ^Mozilla/4 gzip-only-text/html BrowserMatch ^Mozilla/4\.0[678] no-gzip BrowserMatch \bMSI[E] !no-gzip !gzip-only-te
mod_deflate を設定してウェブページのパフォーマンスを上げますの！【Apache】★gzip★
mod_deflate を設定してウェブページのパフォーマンスを上げますの！【Apache】★gzip★ Apache のmod_deflate を設定し、リソースを圧縮することで、ネットワークで送信されるバイト数を減らし、結果としてウェブページを表示するまでの時間の短縮を狙いたいです♪ わたくしたちの WordPress サイトを早く表示させたいのです♪ mod_deflate の設定前に確認すること gzip への圧縮はサーバが行います。CPU を使います。したがいまして、CPU に余裕が無い場合は逆効果となる可能性がございます。 そこで、sar コマンドで確認しましたら、平均で数 % しか使用しておりませんでしたので、余裕があると判断いたしました。 なお、sar コマンドの使い方は、以前の投稿を参考にいたしました。 【sar】サーバの負荷、ボトルネックを探しました【CentOS 5.
静的リソース(HTML,JS,CSS,画像)のブラウザキャッシュを制御 - Qiita
前回のエントリ(ブラウザのキャッシュコントロールを正しく理解する)でブラウザ側のキャッシュ制御について説明しました。 ただ動的スクリプトなら、次の例のようにHTTPレスポンスヘッダを操作すればいいのですが、 <?php header('Content-Type: text/plain; charset=UTF-8'); header('Cache-Control: max-age=0'); echo "Hello World!"; ?> スクリプトを介さない静的リソース(HTMLファイル、JSファイル、CSSファイル、画像ファイルなど)はどうやってHTTPレスポンスを操作すればいいかというと、もしApacheを利用している場合は mod_header と mod_rewrite を利用して次のように簡単に出来ます！ 設定例 想定ケースとして、次のようにブラウザ側のキャッシュを制御したいと仮
mod_deflateでネットワーク転送量を削減 - Qiita
LoadModule deflate_module modules/mod_deflate.so SetOutputFilter DEFLATE DeflateCompressionLevel 7 SetOutputFilterは、リクエストに対するレスポンスを送る前に処理するフィルタ設定。 DEFLATEを指定するとすべてのコンテンツに対して圧縮する設定。 INCLUDEを指定するとSSI(Server Side Includes)を有効化。 複数設定したい場合はセミコロンでつなぐ。 DeflateCompressionLevelは、1～9まで設定できる。 1が最も圧縮率が小さく、9が最も圧縮率が大きい。 設定いれたらApache再起動でモジュールロード。 Register as a new user and use Qiita more conveniently You get art
Apacheをデフォルト設定のままで使っていませんか？ - OSSコンソーシアム
TIS株式会社の小林です。今回はApache HTTP Server(Apache)の設定についてお話しします。 NetCommonsやSugarCRMなどスクリプト系言語で実装されたビジネスアプリケーションをApacheで動作させる場合、mod_perl、mod_phpなどApacheの追加モジュールで動作させることが良くありますが、この時のApacheの1プロセスの使用メモリは100MBを超える場合も少なくありません。 もしmod_perlやmod_phpなどを利用して、かつApacheをデフォルト設定で動かしているならば、アクセス数が多くなった時にメモリが足りなくなり、スワップが頻発して急激な性能劣化を引き起こしたり、最悪の場合OOM-Killerが動作して他のプロセスにまで影響を与える可能性があります。そのようなトラブルを未然に防ぐためにApacheの設定を見直しましょう。 ここで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PageSpeed Insights
mod_deflate - Apache HTTP サーバ バージョン 2.2