前回 RAID に関するちょっとした話を書きましたが個人が巨大なストレージを運用するにあたって得られたノウハウをだいたい全部書いておきます。 そもそもメリットあるのか？ メリットはあります。金です。 Google Drive は安いですが、それでも 1TB 月 1000 円です。しかし運用にかなり制限がでます。柔軟に使える Amazon Web Service ならその 3 倍+転送量課金です。 16TB だと月 5 万円もかかってしまいます。ちなみにもっとも柔軟に使える EBS だと 16TB で 83000 円ぐらいです。 Google Compute Engine の低冗長性ストレージは S3 より少し安かった気はするけど別にとても安いわけではなかったと思う(よく覚えていないし調べるのがめんどくさい)。 50TB のストレージを Google Drive でごまかしごまかし運用したと

Apacheの脆弱性(CVE-2011-3192)いわゆるApache killerが話題になっていますが、その脅威については一部誤解があるようです。 以下は、非常に脅威とする報告の例です。 一方今回のはプロセスの肥大化を伴うので、実メモリ消費して更にスワップも使い尽くしてOS毎激重になったあげくLinuxとかの場合はOOM Killer発動と、他のプロセスや場合によってはOSを巻き込んで逝ってしまいます。 CVE-2011-3192 Range header DoS vulnerability Apache HTTPD 1.3/2.xより引用 以下は、それほど脅威でなかったとする報告の例です。 pooh.gr.jp は結構頑丈だったので 60 並列でやっと CPU idle 30% まで減らせた。 Apache Killer (CVE-2011-3192) 対策 for CentOS 5

随分久々の Linux ネタです。以前にロードアベレージに関する考察などの記事も書きましたが、多くのサーバーサイドエンジニアはサーバ負荷と日々戦っていることかと思います。過去多くの場合、負荷の原因特定はおおよそ下記のような手順で分析をしていたことかと思います。※詳しい手順は別エントリとして記載予定。 top をみて上位に張り付いているプロセスを確認しつつ CPU or I/O のどちらが原因か判別 ps を使ってプロセスの状態を確認して(T),(D)の状態から CPU or I/O のどちらが原因か判別 vmstat で procs の r, b の数、swap の si, so の状態、I/O の bi, bo の状態を確認 iostat を使って disk の read/write の状態をさらに詳しく確認 sar を使って os の状態をさらに詳しく確認 おおよその原因特定から設定を

kazuhoさんが「プロのサーバ管理者の間では存在価値が疑問視されて久しい (Min|Max)SpareServers だと思う」と書いたり、hirose31さんが去年のYAPC::Asiaで{Start,{Min,Max}Spare}Servers,MaxClientsは同じにしているよと発表したり、実際前職のサーバはそのように設定されていたのですが、自分でうまく説明ができてなかったので、調べながら書いてみた。 本当はイントラブログ用に書いていたものですが、がんばったので転載。 前提として、CPUの使用率におけるsystemとfork Re: クラウドがネットワークゲーム開発者にもたらしてくれたもの - blog.nomadscafe.jpでも書いている通りforkってのはサーバにとって重い部類の処理になります。つまり負荷の高いときにforkを大量に行うのはしてはならないことの１つです。

Ganglia is a scalable distributed monitoring system for high-performance computing systems such as clusters and Grids. It is based on a hierarchical design targeted at federations of clusters. Supports clusters up to 2000 nodes in size.

2010/02/16 ■ 自宅サーバを無届けで設置すると逮捕される？ 横浜市大中国人留学生　電気通信事業法違反容疑で逮捕(MSN産経ニュース) 埼玉県警浦和東署と生活安全企画課は１５日、電気通信事業法違反の疑いで、横浜市立大学２年生で、中国籍の同市南区浦舟町の范●（●＝貝２つ）容疑者（２７）を逮捕した。 浦和東署の調べでは、范容疑者は平成２０年１０月～２１年７月までの間に、無届けで自宅にサーバー２台を設置し、運営した疑いが持たれている。 浦和東署では、范容疑者のサーバーには平成２１年２～７月にかけて、主に中国から延べ約１７０万件のアクセスがあったことを確認。同署では、范容疑者が無届けでサーバー上に企業サイトのリンクを張り、企業側から約６００万円の報酬を得ていたとみている。 ２１年１月下旬、さいたま市緑区の大学生から「オンラインゲームの仮想マネーが盗まれた」との相談を受け、浦和東署が調べてい

A Place to discuss Oracle VM, Linux and Other Great Software.サーバ仮想化環境では「リソースプール」という概念を実現するために共有ストレージ構成が多く採用されます。しかし、そもそも現在のCPU性能とDISK I/O性能を鑑みれば、そもそもDISK I/O性能はCPU性能の進化に追いついておらず、共有ストレージ構成とすれば追い打ちをかけるようにそこがボトルネックとなります。多くの環境ではサーバ仮想化環境では「共有ストレージ型前提。しかしこれまでの何倍ものI/O性能が必要」という要件に対応するため、ミドル〜ハイエンドのストレージ装置を採用するという選択を行っています。その結果初期導入費用が高価なのはもちろんですが、そのあとも莫大な保守費を支払うことになります。そして拡張できるものの、拡張するためのパーツがまた高価、というスパイラルに陥

結論から先に。cronlog を使えば、アプリケーションのテストコードと全く同じ形式で、監視用のスクリプトを書くことができます。プログラマが監視ツールの記法を覚える必要はありません。これは、プログラマが運用も行うケースでは特に有効な手法だと思います。 先週公開した Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法 というエントリで、crontab と拙作の cronlog を用いてサービス監視を書く手法を紹介しました。しかし、挙げた例はいずれも ping や http のテストといった外形監視の手法です。RDBMS とウェブアプリケーションのみから構成されるサービスならそれだけで十分でしょう。 しかし、外形監視だけでは、メッセージキューのような非同期処理の遅延を観測することはできません。また、http のログを監視して、エラーレスポンスや平均応答

爆音だったML115が1700円で充分静かになった件 2009-11-30 目次 格安だけど爆音なサーバー、ML115 2年前くらいに15000円前後で販売されていた、ML115という格安ミドルタワー型サーバー機があります。 hp鯖-ProLiant-ML115(格安Server) - wiki@nothing このサーバー、標準のCPU FANとケースFANが「飛びたいの？」というくらいの爆音を放ってくれるので、とてもじゃないですがそのままでは自宅サーバーとしては使う気にはなれませんでした。CPUもシングルコアの2.2GHzなので、主力デスクトップ機として使うのも力不足です。なので、2年前に購入してから最近まで殆ど使っていませんでした。 ML115を静音化する しかしながら、最近になってこのブログや個人サービスを動作させている専用サーバーのOSを入れ替えたくなってきたので、一時的な引っ越

■編集元：自宅サーバ板より「自宅サーバの火事の危険性についてのスレ」 1 名無しさん＠お腹いっぱい。 :03/02/03(月) 20:48 ID:gzadH7jT 危険性や対策法など 11 　 :03/02/13(木) 00:57 ID:5ID8DBIB サーバの上にでっかい水風船（又は水の入ったビニール袋） 置いとくのはどうだろう？ 12 DNS未登録さん :03/02/13(木) 01:02 ID:??? 水はヤバイデータ復旧の可能性が無くなる 粉末の消化剤じゃないと 13 DNS未登録さん :03/02/13(木) 01:10 ID:??? そんなに思いっきり燃えるものなのかな・・・。 発火（発煙）しやすいのはCPUや電源だし、背面や側面の壁や物に面したところに 火や熱を遮断する板を置いておけば、ずいぶん違う気がする。 天ぷら作ってるときみたいな感じで。

JJUG主催のEC2ナイトセミナーでしゃべって参りました。 タイトルは若干煽り気味です。すいません。 以下に、プレゼン資料を公開します。 終始、会場がシーンとした感じで、お話を聞いてくださって果たして皆様の役に立ったのか立たなかったのか若干心配でしたが、EC2ネタで50分話すとしたら、これ以上のネタはしゃべれないので、どっちにせよ、僕にはこれが限界です。 一度も練習をせずに、目標時間50分ぴったりで終わったのは秘かに感動でした。 島田紳助の紳竜の研究を見て、「心で伝える」というのを実践してみました。練習して得られるものは「頭で伝える」なので、すぐ忘れてしまう。忘れることが怖くなると緊張します。そうではなく、普段から思ってることを素直に出せることが一番うまくしゃべれるかなって考えながら資料を作ったら、時間通りだったという奇跡。 あと、EC2を使うメリットについて、一つ言うことを忘れてた。 E