はてなサーバーを更に解剖 - 発言注意！
はてなの1U自作サーバーの情報が出てましたね。せっかくなので、写真からみてもう少しわかるところを掘り下げてみるとします。 1Uラックマウント可能なサーバを自作する - marqs blog 電源 電源は「Enhance FLEX 300」 最安値は、￥8,650くらい。300Wクラスの薄型電源では、最安クラスだと思うので、コスト重視ならいいチョイス。 冷却ファン(ケース取り付け用) ケース背面近くに２つある冷却ファンは「San Ace 40」っぽい。 取り付け位置とかも計算されてるんでしょうね。ラックの前面・背面の両方につけるので、非対称な位置につけることで、前後2台で空気循環させるような考え方かな？メモリやCPUを避けて、空気の流れを作りやすくしてるっぽい。 冷却ファン（CPU） 冷却ファン（CPU）は「Dynatron P199」 最安値￥3980ほど。丈が低いファンで他の選択肢が
1Uラックマウント可能なサーバを自作する - marqs blog
はてなでは以前から自社製サーバを使用しているのですが、今年の春に、新たに自社製1Uハーフサーバを開発しました。 最近、タワー型だとメーカー製でもかなり安価なサーバがあるのですが、データセンターでの運用を考えると1ラックへの集積度が問題になってくるので、必然的にラックマウント可能なサーバが求められます。1Uサーバの中で価格対性能比のよいものを探すと、まだまだはてな的に使いやすいサーバが少ないので、今回このような1Uラックマウント可能なサーバを自社開発しました。 さてこのサーバの特徴としては、 ケーブル類がフロントアクセス 組み立て簡単 いけてるインフラアルバイトのid:hxmasakiが組み立てると15分 1ラックに60台以上搭載可能 もちろん、電源容量との兼ね合いもあります ディスクのホットスワップが可能 低消費電力 お値段据え置き 以前の自社製サーバとほぼ同価格 といったところがあげられ
メンテナンス中画面を出す正しい作法と.htaccessの書き方 | Web担当者Forum
今回は、Webサイトやサービスをメンテナンス中にする場合に、どのURLにアクセスしても「メインテナンス中です」の画面を出す正しいやり方を、人間にも検索エンジンにも適切にする作法を主眼に解説します。 この週末の土曜深夜～日曜早朝にかけて、データセンターの設備メインテナンスのため、Web担を含むインプレスグループのほとんどのWebサイトが、どのURLにアクセスしても「メンテ中です」という表示になっていました。 なのですが、その実装がちょっと気になったので、「正しいメンテナンス画面の出し方」を説明してみます。 ※2010-01-16 Retry-Afterを指定するHeaderの指定を修正しました（コメント参照） ※2009-06-17 RewriteCondから [NC] 条件を削除しました（コメント参照） ※2009-06-16 Retry-Afterの記述をGMTに変更しました（コメント参
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Free Credit Report music videos Migraine Pain Relief Best Mortgage Rates Credit Card Application Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy
はてなでの仮想化技術の使い方@AMDセミナー - とあるはてな社員の日記
先週、AMD主催のセミナーで「はてなでの仮想化技術の使い方」という発表をしてきました。 はてなでは、1年半ほど前から仮想化技術に取り込んでおり、現在では300台以上のサーバが仮想化されています。仮想化技術には、様々なメリットがありますが、はてなではサーバリソース利用率の向上と、システムの安定化の二つの利点を重視しています。サーバを仮想化していく際に、どのようなポリシーで一つの物理的なサーバに仮想化ホストを積み重ねているか、とか、実際どれぐらい効率を上げられているか、とか、あとAMDさんのセミナーなので、消費電力的にはOpteronが実測結果からは10〜20%程度効率がいい(負荷時にOpteron 1.82A, Xeon 2.17A)、というあたりの話をしてきました。 How to use Virtualization Technology in HatenaView more presen
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
はてなブックマーク全文検索機能の裏側
そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu
想定外の壊れ方をしたDELL製サーバの復旧まで一部始終のレポート - GIGAZINE
先日、まだ実稼働して2週間足らずのサーバが急にフリーズしてしまい、サーバへのアクセスが全くできなくなってしまったので、慌ててサーバ室に駆け込んでみると、ハードディスクにエラーが出ていました。 このサーバは、SASハードディスク2枚をRAID1(ミラーリング)で構成してるので、1枚のハードディスクが壊れてもシステムがフリーズすることは無いはず。しかし、実際にサーバがフリーズしているので、原因を調べて復旧することにしました。 サーバ復旧までの一部始終の詳細は以下から。 まず、サーバ構成はこんな感じ。 ・筐体：DELL PowerEdge T300 ・RAIDコントローラー：SAS 6/iR Adapter ・OS：CentOS5.2 こんな感じでハードディスクのランプが緑・オレンジ・消灯と繰り返しています。明らかに正常ではない点灯のしかたですね。 そこで完全にフリーズしていて何もできないので強
KOF 2008 の発表資料 - naoyaのはてなダイアリー
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
スラッシュドット・ジャパン | サーバ監視、何使ってる？
SF.JP Magazineで「Webインタフェースでマシンを監視する4つの方法」という記事が掲載されています。Webインタフェースを持つ4つのサーバ監視ツール（collectd、Cacti、Monitorix、Munin）の特徴をそれぞれ解説した記事で、筆者は記事の末尾で以下のように述べています。 データをじっくりと分析する場合や、管理者以外のユーザからもシステムの統計情報を参照できるようにする場合は、最初にCactiをあたるのがよさそうだ。すでに十分な負荷がかかっているシステムで情報収集を行うなら、システムに与える影響の小さいcollectdを試せばよい。また、多数のノードで個別のアプリケーションパッケージを使って情報を集めるMuninは、同じようなマシンで構成される小規模なグループの監視に向いており、1台しかないサーバの状態を手っとり早く把握したければ、とりあえずCactiかMoni
"make install"したソフトウェアを管理できる超便利ツール「Paco」 - RX-7乗りの適当な日々
最近、Linuxではaptやyumなど、パッケージ管理ツールで多くのアプリケーションやライブラリが管理されるようになり、普通に利用している限りはソースからコンパイルして"make install"することがほとんどありません。 とはいっても、マイナーなソフトウェアをインストールしたりとか、まだパッケージ管理されていない最新バージョンのものを使いたい場合などは、ソースからコンパイルして"make install"をしたくなる場合も有るかと思います。 しかし、"make install"した場合の最大の欠点は、インストールしたソフトウェアの管理ができないことにあります。そのため、何が入っているのか分からなくなっているとか、アンインストールが出来ない、などのケースが起こりうるわけです。 特にアンインストールする可能性があるソフト(ほとんどのソフトがそうですが・・・)をインストールする場合は、わざ
グーグルがデータセンターの電力効率性を一部公開、PUEは驚きの「1.21」
米グーグルは2008年10月1日（米国時間）、同社が運用するデータセンターの電力効率性を一部公開した。サーバー冷却などに費やす消費電力が極限まで抑えられていることが明らかになった。効率性を表す値で、データセンター全体の消費電力をサーバーなどのIT機器の消費電力で割ったPUE（Power Usage Effectiveness）は、6カ所のデータセンターの年平均で「1.21」。現在の一般的なデータセンターのPUEは2.3～2.5程度とされる。 グーグルは一連の資料をWebサイトで発表した。データセンターの電力効率性を示すPUEは、データセンターに供給される電力が全てサーバーなどのIT機器で消費されている場合に「1」となる。 データセンターの運用にはIT機器以外にも空調装置や電力設備などが必要なので、一般的なデータセンターのPUEは2.3～2.5程度（データセンターで消費される電力の半分以上が
Linuxにソフトウェアをインストールする際にやってしまいがちな失敗10選
文：Jack Wallen（Special to TechRepublic） 翻訳校正：村上雅章・野崎裕子 2008-09-17 08:00 Linuxにソフトウェアをインストールするという作業には、かつてほどではないものの、注意すべき落とし穴がまだいくつか存在している。しかし、本記事で紹介している項目を参考にすることで、あなたのLinuxライフはよりシンプルで安全なものとなるはずだ。 ＃1：.rpmや.debを採用しているシステムにもかかわらず、ソースコードからイントールを行う Linux初心者の中には、OS上にインストールされるすべてのアプリケーションが、rpmやapt（あるいはdpkg）といったパッケージ管理システムによって管理されるということすら知らない人も多い。とは言うものの、こういったシステム（rpmやapt、dpkg）が管理できるものは、当該システムを用いてインストールしたア
ロングテールな画像配信 その2 - 3,000万の画像を配信するシステム - mixi engineer blog
Squidを検索する度に最初に表示される画像検索の結果に吹き出しそうになる開発部・システム運用グループの長野です。前回のロングテールな画像配信のその2ということで、実際の画像配信システムについて書かせて頂きます。 ■プロフィール画像の配信について 前回紹介しましたが、mixiにおいてプロフィール写真を設定を設定しているユーザ数は全体の約70%、1,000万人の方が設定をされています。現在配信をしているプロフィール画像のサイズは180x180、76x76、40x40と３サイズあり、合計3,000万以上のファイル数になっています。また、もっともよく使われる76x76のサイズ1,000万件において、1日にアクセスされる画像の数は800万ファイル以上、うち97%が30回以下と非常に広範囲に渡ってアクセスされています。そのため大量の画像を配信できる仕組みが必要になります。 ■配信システムの全体像 プ
0×0018 till I die » はてなnaoyaさん「はてなを支えるバックエンドシステム」
403 Forbidden nginx
高トラフィックに対応できるLinuxロードバランサを目指して 〜 LVSをNATからDSRへ : DSAS開発者の部屋
「こんなに簡単！ Linuxでロードバランサ」のシリーズでは、 こんなに簡単！ Linuxでロードバランサ (1) 〜 LVS + NATで負荷分散をしてみよう こんなに簡単！ Linuxでロードバランサ (2) 〜 keepalivedでWebサーバのヘルスチェック こんなに簡単！ Linuxでロードバランサ (3) 〜 VRRPでロードバランサを無停止にする こんな流れでNATによる負荷分散システムを構築してきました。 今回はこれを DSR(Direct Server Return) 方式に変更してみます。 「DSRとはなんぞや？」という方は、 ロードバランサの運用.DSRって知ってますか? L4スイッチはDSR構成にすべし こちらでわかりやすく説明されていますので参考にしてみてください。 一般的(?)に大規模システムを構築する場合は、「ネットワーク機器の整備はこの部門」、「サーバの調
chibilog: DSR構成のロードバランサーについてのメモ
« 目の前の住人が・・・ | メイン | 【Debian】PXEブートでインストール » 2007年07月04日 DSR構成のロードバランサーについてのメモ 今日は、DSR（Direct Server Return）とかロードバランサーとかの 話でもしていくことにしますYO。 とりあえず、DSR（Direct Server Return）って何？ とか、ロードバランサーって何さ？？ って場合は、以下のサイトを参考にしてみてください。 ロードバランサの本質 L4スイッチはDSR構成にすべし まだ、理解してない部分とか多いけど、とりあえず簡単にまとめてみよう。 間違ってる部分は目をつぶってくださいｗ VIP（バーチャルIPアドレス）というものを用意して、クライアントは このVIPに対して接続を行う。もちろんクライアント側はこれがVIPであるとかの 区別は不要で、ただのIPアドレス
L4スイッチはDSR構成にすべし - sanonosa システム管理コラム集
大規模サイトではL4スイッチをDSR(Direct Server Return)構成で組むことはもはや常識です。しかし国内には大規模サイトが少ないためかDSR構成についての情報が不足しているのが現状です。L4スイッチを扱っているベンダーさんもDSR構成でネットワークを構築したという例をほとんど聞かないとのことです。そこで今回はDSR構成の紹介とメリット＆デメリットをご紹介します。 【一般的な構成とDSR構成の違い】 一般的な構成ではスイッチとサーバの間にL4スイッチを挟み込む構成を取ります。それに対してDSR構成ではスイッチに直接L4スイッチを接続します。 これを踏まえてパケットの流れを見てみましょう。一般的な構成では行きのパケットがL4スイッチを流れサーバに到達し、帰りのパケットもL4スイッチを流れていきます。それに対してDSR構成では行きのパケットはL4スイッチを通りますが、帰りのパケ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ywcafe.net
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine
