3000req / sec と戦う - だるろぐ
ざっくり概要 ピークで3000req / sec 毎分コンテンツ更新要求 コンテンツ更新の際は他所からデータをapi経由で受け取る コンテンツ更新にはTheSchwartzを使用 なコンテンツを色々してきたログ。 尚、ここに書く技術は大半が周囲のギークな方々にサポートしてもらったもので、僕自身が何かしたわけではない。残念すぎる。 構成 internet -> www(squid -> apache) -> app(memcached -> app) -> db フロントエンド wwwサーバがapacheとsquidを動かしている。apacheがリクエストを受け、squidのキャッシュが有ればそれを返し、無ければバックエンドのappサーバへproxy。 バックエンド appサーバがmemcachedとアプリを動かしている。 それぞれ冗長化してるけど、リクエスト数の割に台数は少ない。 技術があ
#isucon ではどんなことを考えながら作業していたか - 酒日記 はてな支店
前のエントリ #isucon で優勝してきました は当日夜に酔っ払った頭で勢いで書き上げたので、少し冷静に振り返ってまとめてみます。 最初のボトルネック発見 DB が CPU 4コアをフルに使って回っているのですぐに Query が重いのは分かった 重いクエリはキャッシュすれば、という発想は自然 (実際 MySQL のクエリキャッシュだけでスコアは 1.5倍程度上がる)、とはいえ このクエリは実行に 300〜400 ms 程度かかる アプリケーションの要件上、毎秒更新する必要がある 1秒ごとに更新に 0.3〜0.4秒かかる処理をするのは悪手だろう cache が消えてから生成、とすると生成処理が複数同時に走って無駄が大きい (実際ベンチマーク中の slow query を見ると 600〜700 ms 程度の時間が掛かっていた) ということで、DB のテーブル構成を変更して高速化できないか、
料理を楽しくする画像配信システム
The document describes TOFU (Tofu on the Fly), a system for dynamically generating and caching image thumbnails on Amazon S3. It works by installing an Apache module that generates thumbnails using ImageMagick when images are requested, then caches them on S3 for future requests. This avoids hitting application servers for every image and provides scalability. The document discusses the TOFU archi
高負荷サイトのボトルネックを見つけるには : DSAS開発者の部屋
はじめに アクセスが急増すると、応答時間が著しく悪化するサイトはありませんか？ 普段は200ミリ秒以内で安定してアクセスをさばいているのに、イベントやらキャンペーンやらを開始した瞬間から、普段の２倍や３倍のアクセスが殺到し、その結果、レスポンスタイムが3秒とか9秒とかかかるようになってしまうことってありますよね。 あるサイトの実状 つい先日まで、そんなサイトが私の目の前にもありました。自社で運営している某ソーシャル系のサイトなんですが、イベント開始時刻と同時にアクセス数が急増するのです。とはいえ、所詮は普段の2倍とか3倍程度の数なのだから、少なくとも1秒以内にレスポンスを返せるくらいの性能は維持したいものです。 しかし実際は困ったことに、応答に3秒以上もかかってしまう処理が大量に発生してしまう状況に陥ってしまっていました。これはきっと、どこかにボトルネックがあるに違いありません。 仮説を立
突然のTwitter砲にもなんとか耐えたさくらVPSに感謝する - As a Futurist...
なんか、2/6 の夜に「修士論文の代わりに退学願を提出してきた」が Twitter でばずったらしく、Yahoo 砲よろしく突如としてアクセスが集中しました。下の方にリソースモニタリングのグラフを貼りつけてますが、今までがほぼ 0 に見えてしまうくらいに来てたのでびっくりでした。 まぁ色々コメントつけて頂いたりしてますが、もう2 年も前なんでこのエントリについて今更僕から突っ込むことは無くて、あのエントリはあのエントリとして見て頂ければと思います。ここでは今回そんな突然のアクセス集中にも見事耐えてくれたさくら VPS に感謝しつつ、アクセス集中の状況を鯖管的立場から分析してみましょう。 ちなみに、以前エントリに書いていますがサーバの構成としてはさくら VPS1 台で、CentOS+Apache+mod_fastcgi+PHP-FPM+MySQL5.5(InnoDB)で WordPress
Apacheの場合、さまざまな機能を「モジュール」という形で用意しています。 モジュールを増やせばたくさんの機能を利用できますが、その反面メモリを大きく消費してしまうという問題があります。 CentOSのデフォルト状態では、ほぼ全てのモジュールが有効になっているため、必要以外のモジュールを除外する必要があります。 例えば、一切モジュールを消さないデフォルトの状態だと、1プロセスあたり5MB程度のメモリを消費していることが分かります。 # ps aux|grep -v Ss|grep ‘[h]ttpd’|h
2011年5月16日 Tags: さくらvps apache linux 0 9 notes "Apacheの場合、さまざまな機能を「モジュール」という形で用意しています。 モジュールを増やせばたくさんの機能を利用できますが、その反面メモリを大きく消費してしまうという問題があります。 CentOSのデフォルト状態では、ほぼ全てのモジュールが有効になっているため、必要以外のモジュールを除外する必要があります。 例えば、一切モジュールを消さないデフォルトの状態だと、1プロセスあたり5MB程度のメモリを消費していることが分かります。 # ps aux|grep -v Ss|grep ‘[h]ttpd’|head -1 apache 22523 0.0 0.4 257548 5036 ? S 12:27 0:00 /usr/sbin/httpd これを適切に設定しなおすと、4MB程度まで減らせます
![Apacheの場合、さまざまな機能を「モジュール」という形で用意しています。 モジュールを増やせばたくさんの機能を利用できますが、その反面メモリを大きく消費してしまうという問題があります。 CentOSのデフォルト状態では、ほぼ全てのモジュールが有効になっているため、必要以外のモジュールを除外する必要があります。 例えば、一切モジュールを消さないデフォルトの状態だと、1プロセスあたり5MB程度のメモリを消費していることが分かります。 # ps aux|grep -v Ss|grep ‘[h]ttpd’|h](https://cdn-ak-scissors.b.st-hatena.com/image/square/698ccd4af880c91927d9b9afa44064e888c435a8/height=288;version=1;width=512/https%3A%2F%2F66.media.tumblr.com%2Favatar_1f72fef80770_512.pnj){kind=avatar}
ずんWiki - mod_rewrite
2012-03-21 bash 2012-02-23 TODO/3 2011-10-28 FrontPage 2011-06-30 plum3.x 2011-03-31 vim 2011-03-21 MyMenuBar MySQL GNU Screen Ads 基本 † RewriteEngine on して、変換する条件がある場合は RewriteCond を並べて、RewriteRule で実行する変換を書く。 RewriteCond や RewriteRule には沢山オプションがあり、それにより効果も色々変わるので慣れるまでは複雑怪奇。 でも分かってしまえばこれほど何でも出来る道具は無いってくらいいろんなことが rewrite だけで出来るようになる。 ↑ クッキーを見てリダイレクトさせる。 † /auth-area/ 以下のアクセスで、login というクッキーが無い場合はログイ
mod_wsgiでDjangoを動かすまでを淡々と記録する - スコトプリゴニエフスク通信
kuma8さんが簡潔かつ的確なまとめを書いてくださっているが、とりあえず記録しておく。今回試した環境は、CentOS 5.2Python 2.6 Django 1.0.1-beta 必要なライブラリをインストールするServer版のCentOSを普通にインストールしたらApache2は入っているはずなので、この点は省略。今回はCentOS標準のPythonではなく、独自にインストールしたPythonを使うという前提で話を進めるので、python-develは必要ではない。 $ sudo yum install apr-devel apr-util-devel mod_wsgiをビルドするmod_wsgiの最新版2.3をダウンロードしてビルドする。使用するPythonのパスは、/usr/local/bin/python-2.6であるとする。 $ http://modwsgi.googleco
手軽に出来るApacheモジュール開発
こんにちは、アシアルの井川です。 今日はApacheモジュール開発方法を紹介したいと思います。難しそうに聞こえるかもしれませんが、Apacheのツール（apxs）を使うので意外と簡単に作成できます。また、今回作成するのは"hello world"をHTMLの先頭に加えるだけのシンプルなモジュールです。 本当に簡単なので、ぜひ一度作ってみて下さい。 開発の流れは次の通りです。 0. 開発環境の準備 1. モジュールのひな形の作成 2. コードの記述（C言語） 3. コンパイルしてインストール 4. httpdの再起動 開発環境は既にできている前提で話を進めます。必要なパッケージは ・httpd ・httpd-devel ・gcc であり、検証環境は次の通りです。 ・CentOS 5.5 ・Apache 2.2.3 ただし、httpdにso_moduleが組み込まれている必要があります。次のコ
手軽に出来るApacheモジュール開発②
こんにちは、井川です。 前回、Apacheモジュールの手軽な作り方をご紹介しました。Webページに先頭に"hello world"を追加するモジュール（mod_hello_world）は意外と簡単に作成できたことと思います。今回は、モジュール開発を一歩進め、モジュールのOn/Offをディレクトリ毎に設定する方法をご紹介します。 前回（手軽に出来るApacheモジュール開発）と比べていささか複雑にはなりますが、モジュール起動の切り替えを使えるようになると開発の幅が大きく広がります。ぜひ試してみて下さい。 今回の開発の流れは以下の通りです。 ① テンプレートの作成 ② コード（mod_hello_world.c）の修正・追記 ③ コンパイルしてインストール ④ Apacheの設定と再起動 検証環境は次の通りです。 ・ CentOS 5.5 ・ Apache 2.2.3 ① テンプレートの作成
mod_pagespeedでWEBの表示をビックリするほど高速化 | Act as Professional
$ wget https://dl-ssl.google.com/dl/linux/direct/mod-pagespeed-beta_current_amd64.deb $ sudo dpkg -i ./mod-pagespeed-beta_current_amd64.deb $ sudo /etc/init.d/apache2 restart基本的には以上で終了です。 詳細な設定細かいレベルでの設定をしたい人や導入したことにより問題が発生して人は設定を変えましょう。 設定ファイル /etc/apache2/mods-enabled/pagespeed.conf ModPagespeedRewriteLevel CoreFilters特に設定をしなくてもCoreFiltersが設定されています。(*1) Filterのドキュメントを見る限り、以下がCoreFilterに含まれているようで
ウェブサイトの高速化処理を自動的に - Apache 向けモジュール mod_pagespeed を試してみよう！
+1 ボタン 2 AMP 11 API 3 App Indexing 8 CAPTCHA 1 Chrome 2 First Click Free 1 Google アシスタント 1 Google ニュース 1 Google プレイス 2 Javascript 1 Lighthouse 4 Merchant Center 8 NoHacked 4 PageSpeed Insights 1 reCAPTCHA v3 1 Search Console 101 speed 1 イベント 25 ウェブマスターガイドライン 57 ウェブマスタークイズ 2 ウェブマスターツール 83 ウェブマスターフォーラム 10 オートコンプリート 1 お知らせ 69 クロールとインデックス 75 サイトクリニック 4 サイトマップ 15 しごと検索 1 スマートフォン 11 セーフブラウジング 5 セキュリティ 1
apacheのアクセスログ
こんばんは、牧野です。 今回はアルゴリズムの話は置いておき、apacheの話題です。 先日、あるサイトのapacheのアクセスログを調べていて気付いたのですが、 リクエストがタイムアウトしてしまい、クライアントがデータを受信できなかった時でも アクセスログにはリクエストのあった時間のログが残ってしまうんですね。。 ステータスコード200で。。。 これは、携帯でアクセスできるウェブサーバがあれば簡単に確認することができます。 （携帯の方がタイムアウトするまでの時間が短いので） 次のようなプログラムをサーバに置いて、 あとはアクセスログを見ながらこのプログラムに携帯からアクセスするだけです。 すると、、、 通信開始 ↓ 70秒経過前に端末側ではタイムアウトメッセージ ↓ 70秒後に、ステータスコードが200で、リクエストが合った時刻のログが書き込まれる 実際にどんなデータがやりとりされているか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Av-jyo.com
x.com
httpdの1プロセスあたりの最大使用メモリの取得
Google Code Archive - Long-term storage for Google Code Project Hosting.
Google Code Archive - Long-term storage for Google Code Project Hosting.
Google Code Archive - Long-term storage for Google Code Project Hosting.
株式会社アンタス - 次の時代のマーケティングテクノロジーを
