Reverse Proxy と mod_perl の MaxClients - naoyaのはてなダイアリー
NDOメソッドっぽく質問されてたので答えてみる。 あと聞きたいのは(←ずうずうしい…)、アプリケーションサーバとかリバースプロキシサーバとかのapacheなどのMaxClientsをどのくらいにしているのかですね。カリカリにチューニングしているのか、ハイパフォーマンスMySQLでJeremyさんがYahoo! comのことを書いてた様に1台当り MaxClients 30 ぐらいしか立ち上げてないのか。 リバースプロキシはメモリの許すギリギリのラインまで MaxClients を上げて設定してます。スタティックな一定のコンテンツを返すあるいは Rewrite するのが仕事のほとんどなので、CPU パワーや I/O もほとんどかからず、最近のスペックのマシンであればリバースプロキシの性能はメモリ量に完全に依存してる感じです。 ので、MaxClients の数がなるべく稼げるように子プロセスの
How we build Vox
The document discusses how Vox, a large-scale, fast, internationalized website, is built using various web technologies. It uses Catalyst as its web framework, Data::ObjectDriver for caching and partitioning data across multiple databases, Perlbal for fast static content delivery, and Memcached for caching. Template Toolkit templates are optimized through versioned caching and syscall reduction. A
mixiの生みの親“バタラ氏”が語るMySQLの意外な利用法 － TechTargetジャパン
日記だけで4億件のデータ ミクシィが運営するSNS「mixi」は、2007年7月末段階でユーザー数が1110万人。人が12人集まれば、1人はmixiユーザーというわけだ。ユーザーのアクティブ率（ログイン間隔が3日以内）は約62％と高く、2007年4月から6月の月間平均ページビューは117.5億に達した。日記だけでも4億件以上に上るなど、蓄積するデータ量も莫大。2004年3月のサービス開始から、わずか3年半で現在の巨大コミュニティーへと発展したのだ。 ミクシィは、「LAMP（OSのLinux、WebサーバのApache、DBMSのMySQL、開発言語のPerl、PHP、Python）」と呼ばれるWebシステム向けの標準的なオープンソースソフトウェア（以下、OSS）でシステムを自社開発し、安価なPCサーバを1000台以上連ねる超分散構成でmixiのサービスを支えている（広告配信など周辺機能では
ヽ( ・∀・)ノくまくまー(2007-05-20)Rails勉強会@東京#18 後半: 今だからこそ運用環境を考える
● [Rails] Rails勉強会@東京#18 前半: QueryCache / MMC 後半: 今だからこそ運用環境を考える に参加。 ● 前半: QueryCache / MMC QueryCache とは、AR.find の結果を memcached を用いてキャッシュする plugin。(rakuto 作) rakuto式 QueryCache の課題 with_scope どうする？ memcache のキー 削除戦略 1は、AR.find の引数だけを見てキャッシュのキーを作成しているため、with_scope と混ぜるな危険。解決策の1つは「キャッシュするレイヤーを select_xxx まで引き下げる」こと。そうすると find_by_sql まで対象に入るという嬉しい副作用もある。ただその場合、キャッシュの対象も同レイヤーにするとARオブジェクトでなく生の結果セットにな
DSAS開発者の部屋:知っていても損はしないkeepalivedの話 〜 MISC_CHECKの注意点
keepalived では様々なヘルスチェック方式がサポートされています。 HTTP_GET SSL_GET SMTP_CHECK TCP_CHECK これらの使い方はなんとなく想像がつくと思いますが、これら以外のサービスのヘルスチェックをするにはどうすればいいのでしょうか。 例えば DNS とか FTP とかあれとかこれとか・・・ FTP は最悪 TCP_CHECK でお茶を濁すって手もありますが、FTP サーバがポートをオープンしたまま応答不能になることも考えられるので、あまりお勧めできません。また、DNS をチェックする機能は keepalived にはありません。 そんな時に使うのが MISC_CHECK です。今回は MISC_CHECK を利用する上での注意点や設定のサンプルを紹介したいと思います。 指定したプログラムを実行して、その終了コードによってリアルサーバを UP した
DSAS開発者の部屋:GREEさんの勉強会の資料を公開しました
先日発表してきた、グリーさんの 第9回 オープンソーステクノロジー勉強会 『DSASのいろいろ』の発表資料と音声を公開しました。 発表資料 (PDF, 2,294 KB) 音声 (mp3, 32,151 KB) 発表はこんな内容です。 自己紹介 [0:22] (1) DSASの特徴の紹介 [6:34] 設計思想、全体構成など (2) DSASの構成要素の紹介 [17:22] ロードバランサ - LVS, keepalived [17:33] ネットワークブートの活用 [30:23] 故障に強いストレージサーバ - DRBD [37:15] NICの二重化 - bonding [44:29] シリアル接続 温故知新 [46:24] サーバリソースの見える化 - ganglia [49:11] 質疑応答 [58:00] 発表はかなり駆け足でしたが、 ロードバランサ (LVS, keepaliv
ウノウラボ Unoh Labs: Cactiによるサーバ稼働状況の監視と異常通知
こんにちわ。 7月2日に、エイガでつながるクチコミサイト「映画生活」のリニューアルが無事に終わってほっとしているhideです。近々、映画APIなども公開していきたいと思っていますので、どうぞよろしくお願い致します。 さて、今日は、Cactiを使ったサーバ稼働状況の監視について説明したいと思います。サーバの稼動状況を監視するツールとしてはMRTGが有名ですが、ウノウではCacti を使っています。MRTGと比べて、Webブラウザ上から設定を行うことができる、データはMySQLに保存されるので過去の任意の時点を詳しく見ることができるなどの点で優れています。 Cactiは普通にインストールしただけだとサーバから取得したデータをグラフ表示するだけなのですが、http://cactiusers.org/にて公開されている Cacti Plugin Architecture というパッチを当てるとプ
さくらインターネット移行記#4 はてなダイアリー移転 - naoyaのはてなダイアリー
いきなり失礼しました。はてなのインフラチームの打ち上げは渋谷で焼肉と相場が決まっています。これは前回の打ち上げで行った焼肉屋での一枚。明後日にははてなダイアリーデータセンター移転打ち上げを開く予定です。 ...ということで、昨日ようやく、はてなダイアリーをさくらインターネットのデータセンターへ移転しました。恒例の写真で振り返る移転レポート、はてなダイアリー移転編です。 今回の移転は深夜に行いました。0:00 に会社に集合。移転にあたって一ヶ月くらいかけて準備をしてきたので慌てることもなく、サービス停止時間の 2:00 までわりとマターリ進行でした。僕は id:hideoki と PSP でモンハンしてました。 これは ENERMAX LIBERTY 電源。最近はてなの自作サーバーで愛用している電源です。はてなダイアリーの移転にあたり動いているサーバーを止められるチャンスだったので、これを期
naoyaのはてなダイアリー - さくらインターネット移行記#3 はてなブックマーク移転
さて、移行記も #3 となりました。今回は先日作業を終えたはてなブックマークの移転について。 旧サーバールームからさくらインターネットのiDCへのサーバー移転作業にもだいぶ慣れて来たこのごろ。これまでは比較的はてな内の他サービスとの連携が疎になっていたり、負荷がそこまで高くないものであったりと移行しやすいものから持っていってましたが、そろそろ難しいところ手を付ける時期に来まして、はてなブックマークの移転です。 以前に書いた はてなブックマークの裏側その後 - naoyaのはてなダイアリー では 2006年10月時点で ユーザー: 60,000 人 ブックマーク数: 787万件 サーバー: 30台 となっていました。移転したこのごろはというと ユーザー: 80,000 人 ブックマーク数: 1,182万件 サーバー: 移転前約45台 (移転後 約25台) という具合になっていました。順調に伸
最近知ったシステム運用/管理に役出すツール & コマンド : no hacking, no life
有名っぽいが最近まで知らなかった便利ツール、コマンドを簡単に紹介。 Munin - サーバー監視/モニタリングツール MRTG入れようと面倒だなーと思ってた時に見つけた監視ツール。yum, aptならパッケージが用意されてるので、インストールがすごい簡単かつ設定(ほとんど)いらず。RRD Toolと連携+既存のツールから情報を集めて表示してくれる。デフォルトの監視項目がやたら多いしグラフも見やすいので、MRTGより全然いい。 参考サイト: http://gigazine.net/index.php?/news/comments/20060904_munin/ rdiff-backup - 差分バックアップツール rdiff-backupを使うとrsyncで差分バックアップ+毎回の差分を保存/管理してくれるので、３日前の状態に戻すとかができてしまう。普段rsyncでディレクトリ全体をバック
Munin - Trac
Hugin and Munin are the ravens of the Norse god king Odin. They flew all over Midgard for him, seeing and remembering, and later telling him. "Munin" means "memory". News 2008-07-03: A mailinglist for german-speaking Munin users started today. Info and subscription under: https://lists.sourceforge.net/lists/listinfo/munin-users-de?language=de 2008-06-11: Munin 1.2.6 is released. It contains bugfi
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Healthy Weight Loss Best Penny Stocks Cheap Air Tickets Credit Card Application Top Smart Phones Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy|Do Not Sell or Share My Personal Information
設定ファイルをまとめて管理する
はじめに Unix系OSの設定ファイルはあちこちのディレクトリに散らばっているので、管理が面倒です。私はこういった設定ファイルを ˜/config/ 以下に、 つまりrootでない一般ユーザのディレクトリ1か所にまとめて管理しています。ここではそのやり方をご紹介します。 設定ファイル編集作業例 まず作業例から見てください。 /etc/hosts を編集したい場合なら、作業は以下のようになります。 % cd ˜/config/ % vi etc/hosts 〜編集する〜 % sudo make メリット 設定ファイルを1か所にまとめて管理すると、以下のようなメリットがあります。 root権限での作業を極力減らせる 最後の make だけはrootでやりますが、それまでのファイル編集は一般ユーザのままで行えます。 バックアップを取りやすい 自分のホームディレクトリのバックアップを取るついでに、
スパムコメント/トラックバック防止機能・運用につきまして : ライブドアブログ スタッフブログ
いつもlivedoor Blogをご利用いただきありがとうございます。 担当の有賀です。 最近スパムコメント/トラックバックに関してお問い合わせをいただくことが多くなってきております。livedoor Blogではこれまでも ・コメント/トラックバックの受信状態の設定 ・参照リンク（トラックバック先ブログのURL）が無いトラックバックの拒否設定 ・アダルトカテゴリからのトラックバック拒否 ・禁止ワード設定 ・livedoor IDをベースとした許可ユーザー設定 といった防止機能・対策を取り入れており、サポートチームでは悪質なトラックバック送信元をサービス全体で拒否する運用を行っております。 ただし、これらの対策でもまだまだ完全ではない状況です。そこで5月上旬から以下の機能・運用を行っていくことを決定しました。 １）半角英数字のみのコメント/トラックバックの拒否設定 主に海外からのスパム対策
cyano: 30万個ぐらいの静的ファイルを配信するサーバーの選び方
naoyaさんが公開されてるInside Hatena Bookmark's Backend の資料などを読むと、mod_perlなサーバーやMySQLサーバーの選び方の参考になったりするわけですが、世の中を見渡してみても、静的コンテンツ（画像とか）を配信するサーバーの指南書らしきものはなかなか見あたりませんでした。 なので、経験を元に書いてみることにします。 弊社の画像配信サーバーには、平均10kbぐらい（たぶん）の画像が30万個ぐらいあって、それをDell PowerEdge 1750+lighttpdを使って配信してます。 以前は搭載メモリ1GBのサーバーを使っていたのですが、その時のvmstatがこのような感じ。 procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu---- r b sw
File:Wikimedia-servers-2005-04-12.png - Wikimedia Commons
Permission is granted to copy, distribute and/or modify this document under the terms of the GNU Free Documentation License, Version 1.2 or any later version published by the Free Software Foundation; with no Invariant Sections, no Front-Cover Texts, and no Back-Cover Texts. A copy of the license is included in the section entitled GNU Free Documentation License. You are free: to share – to copy,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
黄金城hjc30vip5678(中国)有限公司
http://www.atmos.org/2007/3/22/logrotate-and-mongrel
takeda-soft.jp
plope - Maintaining Zope
