ローカルポートを食いつぶしていた話 - download_takeshi’s diary
ここのところ、お仕事で管理しているシステムで、夜中に負荷が急上昇する事象が発生しており、夜な夜な対応に追われていました。 （このブログ書いている今も、負荷がじわじわ上昇中なんですが・・・） で、いろいろと調査した結果、ようやく糸口がわかってきました。 結論から言うと、ローカルポートなどのネットワーク資源を食いつぶしていたようです。 以下、調べていってわかったことなどのメモです。 トラブルの事象 運用しているのは Apache2.2 + mod_perl2 なwebサーバで、リスティング広告システムの配信系です。 リスティング広告の配信のシステムって一般的にロジックが複雑でいやーな感じなんですが、このシステムもご他聞に漏れずかなりのひねくれ者で、しかもトラヒックは結構多めです。システム全体で、日に1000万〜2000万クエリくらいかな。幸か不幸か、このご時勢においてもトラヒック的には成長し続
Apacheのアクセスログをsyslog経由で出力するためのモジュールを作りました : DSAS開発者の部屋
皆さんは、負荷分散環境でのApacheのアクセスログをどのように取り扱ってますか？ 通常、Apacheのログは動作サーバ上のローカルファイルとして出力されるので、 Webサーバを同時に何台も稼働させて負荷分散を行うような環境では、それらすべ てのWebサーバのログファイルを集めなければなりません。ローカルファイルとし て出力されるということは、Webサーバの台数分だけログファイルがばらけること を意味します。考えるだけでめんどくさいですね。 KLabでは、このApacheログを2パターンを使い分けて集めています。ひとつは syslogによるリモート出力を使い、全Webサーバからのログ出力を一か所に集中さ せる方法です。これは、CustomLogディレクティブにloggerコマンドを使用するこ とで可能です。 CustomLog "|/usr/bin/logger -p local6.inf
Apacheの設定を変更し、単一IPアドレス上で複数のSSLサイトを運用する - builder by ZDNet Japan
Apacheのバージョン2.2.12以降では、SNI（Server Name Indication）という、SSLプロトコルに対する拡張機能がサポートされているため、名前ベースのHTTPサイトを設定する場合と同じように名前ベースのHTTPSサイトを設定することが可能になっている。本記事では、Apacheのこの機能について紹介する。 Apache Webサーバがバージョンアップし、成熟していくに伴い、新機能の追加やバグの修正が行われてきている。そして、バージョン2.2.12で追加された機能のうち、最も重要なものはおそらく、単一IPアドレス上で複数のSSLサイトを運用できるようにするという、長らく持ち望まれていた機能だろう。 これまでは、特定のIPアドレスに対してSSL対応のWebサイトを割り当てた場合、そのサイト1つしかSSL対応のWebサイトを運用することができなかった。つまり、IPアドレ
Michael J. Radwin talks
2006 Hacking Apache HTTP Server at Yahoo!, Thursday, July 27, 2006 (OSCON 2006) Slides in HTML | PDF | PPT Since 1996, Yahoo has been running Apache HTTP Server on thousands of servers and serving billions of requests a day. This session reveals the secrets of how Yahoo gets maximum performance out of minimal hardware by tweaking configuration directives and hacking the source code. Radwin will
もう二度とハマらない、SSL証明書の設定 - komagataのブログ
この業界10年いて何度も！何度も！やってるのに！また！ ・・・またSSLの設定で2時間ハマってしまった。 おれの怒りが有頂天になった。 もはや俺に残された手は手順を刺青として彫る以外・・・。 その前に最後のあがきとしてブログに残してみます。（何度となくWikiに残してるのに、それなのにハマるのです。） CentOS 5.2 privateキー作成。 openssl genrsa -des3 -out /etc/pki/tls/private/example.com.key 1024 パスワード削除版privateキー作成。 openssl rsa -in example.com.key -out example.com-nopass.key キーからcsr作成。 openssl req -new -key /etc/pki/tls/private/example.com.key -out
KeepAliveTimeoutは2秒
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 先日行われた第二回 ライブドア テクニカルセミナーをustreamで見ました。pixivの中の人の話が聞けて面白かったです(資料と動画はこちら)。 そのときに出てきたのが、Apache HTTP ServerでKeepAliveTimeoutを2秒に設定しているという話です。MPMもpreforkでもworkerでもなくeventで運用しているとのことでした。eventならKeepAliveTimeoutを伸ばしてもいい気がするのですが、「安全のため」2秒にしているそうです。ちなみにftp.jaist.ac.jpのKeepAliveTimeoutも2秒です。 HTT
TrafficServerProposal - INCUBATOR - Apache Software Foundation
Traffic Server Note: Traffic Server was been promoted to a top level project on April 21, 2010. As a result, the homepage, SVN directory, and wiki links have changed. Abstract Traffic Server is fast, scalable and extensible HTTP/1.1 compliant caching proxy server. Proposal The goal is to create an Apache top level project to Open Source the existing Yahoo! Traffic Server code. Traffic Server (TS f
apache2.2のキャッシュ容量 - rougeref’s diary
先日apache2.2のキャッシュの設定を文字数2、階層の深さ2に設定して一安心。週末を過ごして今日監視画面をみたら真っ赤になっていました。何事とおもってみてみると、またディスク容量がパンク。 なんなんだ、このカーブ。多分とちゅうから緩やかになってきて一定レベルで安定するのかとおもってたんだけど、見事に外れました。 これは、キャッシュディレクトリを定期的に掃除するしかないかと考えを換えて、findで消そうかなぁとおもい、いろいろ調べていたところ、ちゃんとapacheのほうでツールを用意してくれていました。 htcachecleanというツールがあります。マニュアルはこちら。英語しかないですね。私の超適当訳を書いておきます。 htcacheclean htcachecleanはmod_disk_cacheストレージのサイズを一定の限度に保ちます。このツールは、手動でも、デーモンモードでも動作
角丸作り放題なApacheモジュール
mod_rounded_cornersという角丸を生成するための Apacheモジュール(Apache2系用)を作りました。 というか会社のなんかのミーティングで誰かが 言ってたので勉強がてら作ってみた。 http://github.com/yoshiki/mod_rounded_corners/tree/master インストールは下記のようにすればOK。 % autoconf % ./configure % make # make install 設定はhttpd.confに <VirtualHost *:80> ServerName rounded-corners.example.com <Loction /> SetHandler rounded-corners </Location> </VirtualHost> て感じで書けばOK。 今のところはLocationが「/」以外だと
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
#!shebang.jp : 社内で使った Apache モジュールの資料
November 21, 200811:00 社内で使った Apache モジュールの資料 カテゴリ技術ネタ 社内の技術MTGで Apache モジュール入門なプレゼンをしたので、資料公開します。 非常に基礎的な内容ですが。 実際の Web サービスでの Apache モジュールの使いどころとしては、translate_name フェーズでゴニョる事が多いですね。 ユーザーへみせる URL と実体の場所との関係が複雑化してきた際には Rewrite でがんばるよりモジュール書いちゃった方がスッキリします。Apache ModuleView SlideShare presentation or Upload your own. (tags: apache module) 「技術ネタ」カテゴリの最新記事 タグ ：#apache#presentation
mod_proxy_httpとmod_proxy_ajpとmod_jk — ありえるえりあ
Recent entries Apache2.4のリリース予定は来年(2011年)初め(あくまで予定) inoue 2010-12-23 Herokuの発音 inoue 2010-12-20 雑誌記事「ソフトウェア・テストPRESS Vol.9」の原稿公開 inoue 2010-12-18 IPA未踏のニュース inoue 2010-12-15 労基法とチキンゲーム inoue 2010-12-06 フロントエンドエンジニア inoue 2010-12-03 ASCII.technologies誌にMapReduceの記事を書きました inoue 2010-11-25 技術評論社パーフェクトシリーズ絶賛発売中 inoue 2010-11-24 雑誌連載「Emacsのトラノマキ」の原稿(part8)公開 inoue 2010-11-22 RESTの当惑 inoue 2010-11-22 「プ
nginxでreverse proxyしてslowlorisを防いでみる - なんか:かんがえて-6
Slowloris HTTP DoSというスクリプトが最近話題で、だれでもかんたんに、そんなに帯域も使わず、おもにapacheにDOSをかませます。 ためしに(自分のサーバに)かましてみたらカンタンでした。いにしえのSYN flood attackっぽい芸風な感じがします。 残念ながらapache系では、設定を追い込むとかのアプローチでは、なるべく被害を小さめにおさえるぐらいのことしかできないぽいです。猛烈ないたずら電話の被害に遭っているときに、かかってきたいたずら電話はなるべくすぐ切るようにしましょう! ぐらいの負け戦ですね。 リクエストをどう処理するかのツクリを狙われてる感じで、いまのapacheを使うかぎり対処はなかなか厳しいのですが、最近人気のロシアのnginxだと大丈夫みたいということで、組み合わせをためしてみました。 nginx (えんじん・えっくす) はwebサーバのソフトウ
mod_libmemcached_cacheでApacheのcacheをmemcachedに保存する : blog.nomadscafe.jp
mod_libmemcached_cacheでApacheのcacheをmemcachedに保存する Apacheのmod_cacheのキャッシュ保存先にmemcachedが使えればいいのにと長年思ってきましたが、mod_libmemcached_cacheがそれを実現してくれました。 しかも、libmemcachedを利用しているので、性能も高く、またConsitent Hashingも使えますし、バイナリプロトコルもばっちりです。 図にするとこんな感じ。revserse proxyのcacheがmemcachedになるので、cache効率が上がり、またApplicationサーバからも同じmemcachedが参照できるのでcacheを変更したりできるかもしれません。 導入 mod_libmemcached_cacheはgithubから入手できます http://github.com/a
» セキュアなサーバを作るために最低限やっておくこと: エスキュービズム ラボ Blog
Recent Entries セキュアなサーバを作るために最低限やっておくこと Yahooキーワード抽出APIライブラリ テスト駆動開発 （test driven development: TDD） のすすめ GoogleAnalyticsAPI on EC-CUBE 土日で作るコンパイラ OPEN ERPに挑戦３ OPEN ERPに挑戦２ OPEN ERPに挑戦 ERPはたくさんあれど・・・ OpenGLで3D、やってみよう Recent Comments No Responses. Recent Trackbacks テスト駆動開発 （test driven development: TDD） のすすめ 06/11 » Yahooキーワード抽出... みなさんはサーバを管理するときに、何を一番気にしますか？ 人によって程度の差はあるのでしょうが、誰もが気になるのが「セキュリティ」でしょ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ApacheYahoo
IBM Developer
'Re: incubator proposal for (what was once) Inktomi Traffic Server' - MARC
http://www.machu.jp/posts/20090726/p01/
Google Code Archive - Long-term storage for Google Code Project Hosting.