ローカルポートを食いつぶしていた話 - download_takeshi’s diary
ここのところ、お仕事で管理しているシステムで、夜中に負荷が急上昇する事象が発生しており、夜な夜な対応に追われていました。 （このブログ書いている今も、負荷がじわじわ上昇中なんですが・・・） で、いろいろと調査した結果、ようやく糸口がわかってきました。 結論から言うと、ローカルポートなどのネットワーク資源を食いつぶしていたようです。 以下、調べていってわかったことなどのメモです。 トラブルの事象 運用しているのは Apache2.2 + mod_perl2 なwebサーバで、リスティング広告システムの配信系です。 リスティング広告の配信のシステムって一般的にロジックが複雑でいやーな感じなんですが、このシステムもご他聞に漏れずかなりのひねくれ者で、しかもトラヒックは結構多めです。システム全体で、日に1000万〜2000万クエリくらいかな。幸か不幸か、このご時勢においてもトラヒック的には成長し続
http_load
http_load - multiprocessing http test client Fetch the software. http_load runs multiple http fetches in parallel, to test the throughput of a web server. However unlike most such test clients, it runs in a single process, so it doesn't bog down the client machine. It can be configured to do https fetches as well. You give it a file containing a list of URLs that may be fetched, a flag specifying
VPNとDNSとBonjour - 射撃しつつ前転 改
社外から社内の開発環境にアクセスしたい、というような場合にはどうすればいいのだろうか？ 単にSSHでログインしてちょこっと作業をするだけなら、踏み台サーバを用意してそこからさらに目的サーバまでたどり着けばいいだけなので、大きな問題はない。しかし、ファイル共有もしたいし、Webサーバにもアクセスしたい、というような事になると、単に踏み台サーバを用意するだけではちょっと不便だ。 そういう時にはVPNを使えばいい。最近ではいろいろなVPN用のソフトウェアがあり、通信経路を暗号化してくれる。しかし、VPNには名前解決をどうしようかという問題が付いて回る。まぁ、拠点間ネットワークなら両方のネットワークでプライベートDNSを立てて処理すれば問題ないんだろうけど。 社外ネットワークから社内ネットワークへとアクセスする場面を考える。この場合、名前解決に関しては、全部の名前解決を社内DNSで行うようにするか
「ニフティrクラウドユーザーブログ」は、移転しました。
「ニフティクラウドユーザーブログ」は、移転しました。 自動でページを移動しない場合は、下記のリンクをクリックし、 新しい「ニフティクラウドユーザーブログ」をご覧ください。 今後とも「ニフティクラウドユーザーブログ」をよろしくお願いいたします。 ＞ ニフティクラウドユーザーブログ
Logstash: Collect, Parse, Transform Logs | Elastic
Search and analytics, data ingestion, and visualization – all at your fingertips.
RAIDレベルの話: 1+0と6はどっちが安全か？ - たごもりすメモ
仕事でちょっくら12台のHDDを使ったRAIDアレイを組むんだけど、その折にちょうどTwitterで「RAID-1+0にしないとRAID-6とか怖くて使えませんよ！」というウソ八百な内容のWebページのURLを見掛けたので、いいかげんそのような迷信が消え去ってもよかろうと思って書くことにした。 1重ミラー設定のRAID-1+0は安全性においてRAID-6に劣る。ただし、正しく運用されている場合に限る。*1 知っている人はずっと前から知っている事実ではあるんだけど、某巨大SIerなんかでも高い方が安全に決まってる的な残念な脳味噌の持ち主がいっぱいいて「いやあデータの安全性を考えるとRAID-1+0」とか考えもなしにクチにし、そっちの方がディスクがいっぱい売れて嬉しいストレージベンダーもニコニコしながら否定せず売りつけて去っていくといううわなにをす(ry まあそんな感じで。ちなみに正しくない運
daemontools の代替として Supervisor がよさげ
node.js なサーバデーモンの管理をしようと思い、何を使おうか検討していたのですが、この手のデファクトスタンダードである daemontools は、特定のディレクトリ構造に従わないといけなかったり、run スクリプトや log/run スクリプトを置いたりしきゃいけなかったりで、余計な作業が多くてお手軽じゃない、ってことで runit を見てみたんですが、ぱっと見 daemontools との違いがよくわからなくて、daemontools とそれほど煩雑さは変わらないように見えたので、もっとお手軽なものがないかと探していたところ見つけたのが Supervisor 。（といっても自分が知らなかっただけで以前からあるみたいですが。） Python 製で easy_install 一発でインストールできる。 $ sudo easy_install supervisor デフォルトの設定フ
UPSとApcupsdを用いて停電時にサーバーを自動で停止させる - 発声練習
計画停電の前にわざわざ研究室に来て、サーバーを手動で落とす生活には耐えられない。なので、自動停止環境を整えることにする。 Debian GNU/Linux testing サーバー：Dell PowerEdge 2850 UPS: APC Smart-UPS 1500 RM DLJ2 まずは念のためパッケージ更新。 % sudo aptitude update % sudo aptitude safe-upgradeUSBを認識させるためにkernelを再構築する必要がある。 % sudo aptitude instlal linux-source-2.6.32 参考：UPS 参考：apcupsd manual: Linux USB Configuration Linux kernel 2.6.xの場合以下のモジュールを組み込まないといけない。2.6.32.xで make menuconf
サーバの命名法 - モジログ
人力検索はてな - サーバなどの機器が大量に増え、命名に困っています。（2006-08-23） http://q.hatena.ne.jp/1156318046 ＜サーバなどの機器が大量に増え、命名に困っています。 サーバやネットワークの管理者にお尋ねします。 サーバやハブ、ルータなどの名前はどのように付けていますか？ 機器名や役割などをそのまま名前にしている場合もありますが、今回は惑星の名前や星座の名前など、バリエーションが豊富で今後機器が増えても安心な「シリーズもの」を教えてください＞。 サーバの命名をどうするか、アイディアがたくさん出ている。これは面白い。 以下、このページから私の目についたものを抜粋。URLは、参考URLに出ているものか、そのリンク先。 数学者の名前 http://www-history.mcs.st-and.ac.uk/Indexes/Full_Alph.html
最適なDNSサーバーを見つける。 - 日々、とんは語る。
サービスを運営すると、色々なボトルネックが出てきますが、意外と見過しがちなのが DNS の名前解決かと思います。 内部だけで完結する場合は関係ありませんが、頻繁に外部サービスと連携する場合は特に重要です。 最もな解決としては、ローカルに DNS サーバーを立てることですが、DNS サーバーは超重要な位置付けなので、何かの拍子で動かなくなるのが怖いので、自信がない人は外部に任せたいところです。 DNS をベンチする。 そんなわけで、どこの DNS が最適かどうかベンチマークして設定するのが、最も簡単で手軽なハックになるわけです。というわけで、早速ベンチしてみましょう。 namebench - Project Hosting on Google Code $ wget http://namebench.googlecode.com/files/namebench-1.3.1-source.tg
大規模インフラの監視システム その2 | GREE Engineering
こんにちは。グリーのmdoi(@m_doi)です。 今回は、グリーの監視システムについて説明したいと思います。以前、こちらの記事にて、リソース監視システムの説明をさせて頂きましたが、死活監視やログ監視については語られなかったので、気になっていた方も多いと思います。ということで、今回は、グリーのインフラにおける死活監視やログ監視、アラート通知システムを紹介したいと思います。 何を使っているの？ グリーでは、死活監視にNagiosを使用していました。監視システムの中では、かなり有名なソフトウェアですから、監視システムの構築に使用したことがある方も多いのではないでしょうか。プラグインも豊富に存在するので、様々な監視を行うことができます。死活監視は、このNagiosの機能をそのまま利用し、ログ監視は、Nagiosと独自に作成したエージェント及びログフィルタを連携させて行っていました。 全体のシステ
サーバケース | おごちゃんの雑文
サーバの増強を考えていたので、前にデザインしていたサーバを作ることに。 設計のコンセプトの第一は「夏、空調なしで換気だけで問題なく動く」ということ。つまり、空冷の効率を高くすること。 第二のコンセプトは、出来る限り高密度にすること。東京の地代は安くない。 いずれのコンセプトも、「省資源」ということになるのだが、もちろんそれなりのパフォーマンスもなければならないし、低コストである必要もある。 ということで、 画像のようなものを作った。 Lubicの部材をつかって、4台収容するフレームを作ったのだ。これで空気はスカスカなので、筐体内に熱がこもるということがない。幅45cmのところに4台分だ。「箱」に入れてしまうと、意外に筐体内の温度は上がる。 マザー、電源、ディスクは簡単に交換出来るようになっている。 mixiで「風速」とつっこまれたのだけど、マザー上で風速が必要なのはCPUくらいなものなので
8万円以内で8TBのサーバを作る - Loud Minority
材料 HP ProLiant MicroServer (\35,700) http://h50146.www5.hp.com/products/servers/proliant/micro/ 2TBのHDD * 4本 (4万円前後): 今回は，日立製 0S02602 Deskstar バルク品を買うときには，HDDを留めるネジが別途必要（HPの本体に付いてこない）なので注意 設置 箱明けて，本体取り出します．正面の扉を開ける鍵は，背面に着いてます。写真左の銀色は3.5インチHDD 開けて見ます．HDDは，引き出して，マウントする事が出来ます． HDD以外（メモリ等）を増設するには，本体下部のマザーボードを引き出します．トルクスネジですが，工具は蓋に着いてます． ケーブルが押し込めてあるので，結構取り出す＆しまうのに苦労します． あとは、CentOSいれて、Software raidを組んだ
BackupライブラリでプロジェクトのバックアップもD.R.Y化しよう
はじめに こんにちは芳賀@func09です。 何かプロジェクトをリリースする時、必ずといっていいほど必要なのはデータの定期バックアップですね。 必ずといっていいほど必要なのに、必ずといっていいほど忘れがちで、後回しにされがちで、 リリース前に「あ、バックアップのバッチ処理書かなきゃ・・」みたいな感じで、毎回同じようなシェルスクリプトを書いてませんか？僕はそんな感じです。 バックアップだってD.R.Y（Don’t repeat yourself）ということで、サクっと労力をかけずに終わらせたいなぁと思っていた時に見つけたのがBackupという名前のGemです。そのまんまですね。 Backup(RubyGem)とは？ Backup（ http://github.com/meskyanichi/backup ）はRubyで書かれたUnixとRails環境のためのライブラリです。 データベースの内
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Av-jyo.com
Av-jyo.com
Av-jyo.com
省サーバ運用
コマンド終了を自分に通知 - D.
自作PCケースのD.I.Yブランド「LUBIC」の通販サイトです。