フロント/バックのreverse proxy構成で、指定秒数以内に必ずレスポンスを返す方法 - （ひ）メモ
目的 フロントがHTTPリクエストを受けて、バックエンドのアプリケーションサーバにreverse proxyするような構成において、指定秒数以内に何かしらのレスポンスを返したい。 200が返せない場合は、処理を打ち切って500を返したい。 背景 フロントでApacheやNginxをreverse proxyとして使っている場合、バックエンドが無応答になってしまうと、クライアントにレスポンスが返るのはデフォルトで数十〜数百秒後(ApacheのTimeoutのデフォルトは300秒、Nginxのproxy_read_timeoutのデフォルトは60秒)になってしまいます。 通常のWebサービスではこのオーダーのタイムアウトでもいいのかもしれませんが、数秒以内に(エラーでもいいので)レスポンスを返すことが求められる環境も存在します。(最近、特に多いのではないでしょうか:P) もちろんバックエンドが
画像配信の負荷分散も比較的簡単？（その1） - 最速配信研究会(@yamaz)
30万個ぐらいの静的ファイルを配信するサーバーの選び方 で静的な配信サーバに関することが述べられている. naoyaさんが公開されてるInside Hatena Bookmark's Backend の資料などを読むと、mod_perlなサーバーやMySQLサーバーの選び方の参考になったりするわけですが、世の中を見渡してみても、静的コンテンツ（画像とか）を配信するサーバーの指南書らしきものはなかなか見あたりませんでした。 なので、経験を元に書いてみることにします。 ということらしい.書いてあることはすべて同意だけど, つい3ヶ月くらい前まで 平均15k×1万URL×50億httpアクセス/day 平均4KByte×100万URL×3億HTTPアクセス/day な画像サーバと某所で向き合ってたため,ちょっとは役に立てるかもしれないと思ったので,私の経験を書いてみようと思う. 動画配信の負荷分
VMware HA+DRS on ESXi — j-lab
各務さんのモトネタと、v-tomo各位のリプライに感謝しつつ。 VMware ESXi は無料で使うことができます。 VMware Virtual Infrastructer 3 は 60日評価版をダウンロードすることができます。 Windows Server 2003 R2 は 120日評価版をダウンロードすることができます。 そうすると、ESXi 上でESXが動けば、VMotionできる環境を一台のサーバで構築することが可能となるわけです。 仮想化友の会のかたがたの助けを借りまして、構築することができましたのでPDFにまとめておきました。 なお、サーバはML115G5にPhenomといういきなりサポート範囲外のハードウェアで、 かつ、この上ではESXが動くことになってないのでともかく「サポート不可」な構成なのはご承知置きください。 ダウンロードはこちらから
(Min|Max)SpareServers にかわる prefork モデルを考えてみる - kazuhoのメモ置き場
そもそも動的にプロセス数を変化させることができて何がうれしいか、というと、負荷が軽い時に、別のタスクを動かしても、アイドル状態のサーバプロセスが邪魔にならない。ってあたりなのかな。でもそのため（だけ）に Scoreboard とか複雑な仕組みを用意するのはなんだかなーと思ったり。 ＃scoreboard 自体には mod_status みたいな使い方もあるけど 一方で、(Min|Max)SpareServers 方式には、負荷の増大局面で fork(2) が発生するという好ましからざる問題もあったりする。 ＃特にベンチマーク結果に悪影響が出る :-p じゃあプロセス数を固定したまま、負荷が軽い際に余計なリソースを食わないような設計ができないか。できるんじゃないかなー、というのが本題。具体的には、 accept(2) には、必ず mutex lock をかける mutex をロックできなかっ
Marvell Technology Group Ltd.
Accelerated Infrastructure for the AI Era To meet the challenge and promise of generative AI, operators are redesigning data center architectures from the ground up. Marvell silicon powers the accelerated compute, connectivity, networking, and storage infrastructure needed to expand the reach of AI. Cloud-optimized Silicon for Data Infrastructure As the semiconductor industry’s only data infrastru
Webの負荷テストに使えるフリーソフトウェア | OSDN Magazine
Webアプリケーションおよびサーバの高負荷時の挙動を確認する方法の1つが、擬似的に負荷をかけてテストを行うことだ。ここでは、そうしたテストを実施するフリーソフトウェアをいくつか試し、それぞれがどんなタイプのサイトに適しているかを調べた。 負荷テスト用のツールはいろいろあるが、メンテナンスが行われていないもの、フリーでないもの、インストール手順が明確でないものを除くと、curl-loader、httperf、Siege、Tsung、Apache JMeterの5つが候補として残る。 JMeterについては、すでにDaniel Rubio氏が取り上げているので、ここでは詳しく説明しない。ただし、最後のまとめでほかのツールと共に簡単に触れている。 curl-loader curl-loaderは、「SpirentのAvalancheやIXIAのIxLoadの代替として使える強力かつ柔軟なオープン
リンク、オープンソースソフトを使った低価格な負荷テストサービス | OSDN Magazine
リンク（本社：東京都港区）は2008年12月16日、エーティーワークス（本社：富山市）と共同運営するホスティングサービス「AT-LINK 専用サーバ・サービス（at+link）」の利用者向けオプションとして、オープンソースソフトウェアを活用した「負荷テストサービス」を提供開始した。価格は基本プラン1回19万9500円から。 Apache Software Foundationが開発するJavaベースの負荷テストツール「JMeter」を採用。事前にユーザーから行ったヒアリングをもとに、実際の行動に即した試験を実施し、結果をレポート形式で報告する。SSLを利用したフォームやクッキー・セッション管理の負荷計測、携帯サイトの負荷計測にも対応する。テスト項目のカスタマイズも可能。 同社によると、負荷テストの費用は数百万円に及ぶこともあるため、多くの企業では必要性を認めながらも担当者の経験則に基づいて
PragDave: See Rails request paths in 'top'
During our sale, we had one particular request that came in and wedged the application: every time it hit, the mongrel process size zoomed steadily up to 500Mb, so we had to kill it. But finding out which request was doing this was tricky. The log files didn't help—with the amount of traffic we were getting, it was a small needle and a large haystack. Eventually, we found the culprit. But it would
DSAS開発者の部屋:こんなに簡単！ Linuxでロードバランサ (1)
DSASのロードバランサは高価なアプライアンス製品ではなく、LinuxのLVS (Linux Virtual Server)を利用しています。 安価、というか、ハードウエア以外は金銭的コストがゼロなので、一般のクライアントからのアクセスを受ける外部ロードバランサのほかに、内部サービス用のロードバランサも配置しています。それぞれactive, backupで2台ずつあるので合計で4台もロードバランサがあることになります。(こんな構成を製品を使って組んだら数千万円すっとびますね) また、ネットワークブートでディスクレスな構成にしているので、ハードディスが壊れてロードバランサがダウンした、なんてこともありません。 ですので「ロードバランサは高くてなかなか導入できない」という話を耳にする度にLVSをお勧めしているのですが、どうも、 なんか難しそう ちゃんと動くか不安 性能が出ないんじゃないか 等々
Linux のプロセスが Copy on Write で共有しているメモリのサイズを調べる
Linux は fork で子プロセスを作成した場合、親の仮想メモリ空間の内容を子へコピーする必要があります。しかしまともに全空間をコピーしていたのでは fork のコストが高くなってしまいますし、子が親と同じようなプロセスとして動作し続ける場合は、内容の重複したページが多数できてしまい、効率がよくありません。 そこで、Linux の仮想メモリは、メモリ空間を舐めてコピーするのではなく、はじめは親子でメモリ領域を共有しておいて、書き込みがあった時点で、その書き込みのあったページだけを親子で個別に持つという仕組みでこの問題を回避します。Copy-On-Write (CoW) と呼ばれる戦略です。共有メモリページは、親子それぞれの仮想メモリ空間を同一の物理メモリにマッピングすることで実現されます。より詳しくは コピーオンライト - Wikipedia などを参照してください。 この CoW に
DSAS開発者の部屋:特集記事『Linuxロードバランサ構築・運用ノウハウ』を公開します
『Linuxロードバランサ構築・運用ノウハウ』を公開します！ これはWEB+DB PRESS Vol.37の特集記事としてDSASチームが執筆したもので、技術評論社様の許可を得て今回公開するはこびとなりました。 一口でいうと、「Linux＋IPVS＋keepalivedを使って、冗長構成(Active/Backup)のロードバランサを作るまで」の解説記事で、 サーバ負荷分散一般についてのはなし Linuxでロードバランサを作ってみる ロードバランサを冗長化 といった構成になっています。 みなさんがLinuxロードバランサを導入・構築・運用する際の一助になれば、DSASチームとしてもうれしい限りですので、是非、ご覧になってください！ 第1章 サーバ負荷分散概論 特集のはじめに なぜサーバ負荷分散をするのか？ サーバ負荷分散の実現方法 ロードバランサのいる構成 ロードバランサはなにを元に分散す
Milano::Monolog: mod_rewriteでサーバーの負荷が高いときだけリダイレクトする
mod_rewriteでサーバーの負荷が高いときだけリダイレクトする ワタシが働いている会社のホームページは、たまーにYahooのトピックスからリンクされます。 トピックスに載るとそれはもう大量のアクセスが津波のように押し寄せてきて、あっというまにサーバーのリソースを食いつぶしてアクセス不能になってしまいます。 こういうときのために、Contents Delivery Networkによるキャッシングも利用してます。 今までは、リンクされそうになったらmod_rewriteでリダイレクトって方法を使っていました。 でも毎回これをやるのが面倒になってきたので、なんとかならんかなーと思って、RewriteMapに初挑戦してみた。 RewriteMap使えばRewriteCondとかRewriteRuleにプログラムの出力結果を使うことが出来るようになるので、これでWebサーバーのロードアベレー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
VMware acquires SpringSource – virtualization.info
The Day Live Web Video Streaming Failed Us | TechCrunch