自作サーバカンファレンス - 科学と非科学の迷宮
自作サーバカンファレンス : ATND 自分用メモなので他の人が読んでもきっと役に立ちません。 全体 基本は「クラウド(EC2)高い、ベンダサーバムダに高い、だから自作にしよう」 ほとんど皆1Uハーフ、たまに2Uハーフ ディスクは2.5inch、DBスレーブにはIntel SSD使うところ多し 用途はAPサーバ、DBスレーブ、ストレージサーバなど サーバ代は大体5-10万/台 最大1Aを少し超えるぐらい、アイドル状態で0.5Aとか ソフトの話だが、皆当たり前にLVS使ってた はてな 物理オペレーションをほとんどアルバイト任せにしている点が印象的。大手SIだと子会社や派遣の人を使ってやらせる作業。 ベンダ製サーバに全く頼っていないためか、自作サーバの中では最もまともに見えた。 APサーバで8万、DBサーバ(SSD)で16万、ネットワークサーバで10万ほど。 材料は値段の高騰等を見据えて2,3
そろそろモバツイがEC2に移転した話でも書くとするか。
モバツイ以外にも実運用で回してるEC2な人たちは結構いると思うのですが、参考までに。 モバツイッターがAmazon EC2の人柱をやってくれている モバツイッターがAmazonEC2に移行しようかなとのこと。 さっそく性能問題にぶち当たったらしいし、ナイス人柱。 前にあるイベントで、EC2を活用されているHeartRailsの方にモバツイの構成をEC2に移転したらどうなるか？みたいな話をお伺いしたら、すぐ8万円/月ぐらいに構成になってしまう、と言われたのですが、大体、どんぴしゃな感じでした。 （追記：なお個人でWebサービスをスモールスタートする場合は、サーバの運用知識がそこそこある前提で、まずは自宅サーバから運用すると良いです。月間600万PVぐらいまでなら、HP ML115G5 + Phenomでこなせるハズなので。その辺についてはまたいずれ書きます。） ■EC2とは？ 既にご存じの方
無いから作った人たち
データベース技術の世界に新顔が次々と登場している。米Danga Interactiveの「memcached」、ミクシィの「Tokyo Cabinet」と「Tokyo Tyrant」、楽天の「ROMA」、グリーの「Flare」などだ。いずれも半導体メモリーを使って大規模データベースを高速処理する技術である。面白いのは、4社ともIT製品を開発するメーカーではないことだ。 4社は、Webを使ったサービス事業を手掛ける企業であり、本来であればメーカーが開発した製品や技術を使う立場である。ところが、こうした「ユーザー企業」が自ら基盤技術を開発し、それを利用している。 memcachedやTokyo Cabinet/Tyrant、ROMA、Flareの中では、memcachedが一番古い。Danga Interactiveが自社のブログ・サービス「LiveJournal」を改善するために2003年に
OPC Diary: デブサミ2009 株式会社はてなの開発戦略
« TracLightning2.1リリース | メイン | IDE as a Service ?? » 2009年02月15日 デブサミ2009 株式会社はてなの開発戦略 デブサミ2009「株式会社はてなの開発戦略」講演メモ - RX-7乗りの適当な日々 要約するとSVNリポジトリをおいていたサーバーののRAID1で組んでいたディスクが片側壊れたら、もう片方も実は不良でした→ リポジトリがぶっ飛びました！3500ぐらいのプロジェクトがパー→バックアップえ？なんですかそれ？→gitに乗り換え。→gitサイコー!（イマココ） いやはや、この転んでもただではおきないさ加減は見習うべきなんだろうな。 それにしても、ディスク冗長化とバックアップとそのバックアップもシステムバックとデータバックアップは全部意味が違うぞって言うのは開発者もおぼえておいた方が良いよね。僕には怖くてバックアッ
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
特集 Windows Server 2003完全ガイド 可用性を向上させるボリューム・シャドウ・コピー・サービス 1．可用性を向上しTCOを削減するVSS - ＠IT
特集 Windows Server 2003完全ガイド 可用性を向上させるボリューム・シャドウ・コピー・サービス ―― SANなどのエンタープライズ・ストレージ・バックアップにも対応―― Windows Server 2003では、サーバの可用性向上やTCO削減のために、ハードディスクのデータなどをバックアップするための新機能が追加された。今回取り上げる「ボリューム・シャドウ・コピー・サービス（Volume Shadow Copy Service、以下VSS）」がそれである。「ボリューム・シャドウ・コピー（またはシャドウ・コピー）」とは、従来からバックアップ・ソフトウェアで「スナップショット」と呼ばれていた機能のことで、ある特定時点での瞬間的なファイルやデータの状態を記録したものを指す。 ただし、このスナップショットはバックアップ・データそのものではなく、バックアップ対象のファイルやデータ
Amazon ec2のエコノミー、月72ドルでレンタルするのと、999ドルのマシンを買うのはどちらが得か？
最近、私のまわりにもAmazonのレンタル・バーチャル・サーバーであるec2を使用している人、もしくは使用を真剣に検討している人が増えて来た。「自分でサーバーを用意するのとどっちが得か？」という話は、ビジネスにもよるのでさまざまだが、ごくシンプルな「事務所サーバー」（もしくは「マンションサーバー」）を比較対象のモデルとして簡単に損得勘定を計算してみた。 もっとも安価な Small Instance (1.7 GB of memory, 1 EC2 Compute Unit, 160 GB of instance storage, $0.10/hour）だと、一日２４時間使い続ければ月に７２０時間、つまり月に７２ドル必要となる。 同じようなマシンを事務所（もしくはマンション）に置く場合、Dellのエントリーレベルのサーバー（Dual core Pentium, 1GB memory, 160
screen をインストールする (talk to oneself 2)
Hazama.nu is a website that started in 2002, created by a writer who wanted to have a platform to express his thoughts and opinions. The site had a range of categories covering a variety of topics such as cars, books, programming, games, and more. The site was powered by Movable Type – a powerful content management system and static publishing platform that makes site management easy. The Beginnin
さくらインターネットにTracを構築する - WeekbuildのHack倉庫 - Trac
さくらインターネットにTracを構築する 1.説明 さくらインターネットにTracを構築します。ライトプランだとTelnetが使えないので、スタンダードプラン以上が必要です。 今回の例では、~/local/配下に構築します。svnのリポジトリは~/var/svn/repo、TracEnvは~/var/trac/repoとします。 基本的に、いかに書いてあるコマンドをそのまま実行すればよい（一部変更必要）ですが、 若干スクリプトの変更等が必要なので、viを使える程度の知識が必要です。 なお、以下のコマンドは、tcsh(デフォルト)で実行することを前提としています。 2.インストール (1)環境設定 mkdir -p $HOME/local/src cd $HOME/local/src mkdir -p $HOME/local/lib/python2.4/site-packages ln -
Daemon – Daemon : Procrun
Daemon Overview Download Procrun Jsvc Native binaries Javadoc (latest release) FAQ Wiki Development Mailing Lists Issue Tracking Source Repository Project Documentation Project Information Project Reports Commons Home License Components Sandbox Dormant General Information Security Volunteering Contributing Patches Building Components Commons Parent POM Commons Build Plugin Commons Release Plugin S
さくらインターネット移行記#5 久しぶりの移転作業
だいぶ間が空いてしまいましたが、久しぶりのデータセンター移行記です。 アンテナ、カウンター、検索を移転 完全移行もぼちぼちゴールが見えて来た今日この頃ですが、先日もサーバーの移行作業を行いました。はてなアンテナの巡回システム周り一式、はてなカウンター、はてな検索などをまとめて移行しました。今回の移行も深夜作業。夜の 2:00 に集合して作業開始です。上の写真は僕のメンテナンス時の作業着です。 サーバールームからサーバーを運び出します。台車が大活躍です。 ぎっしりサーバーが詰まっていた旧サーバールームも、だいぶ閑散としてきました。まだ 70 台近くのサーバーが残っていますが、開発機などを除くと残り 40 台程度になりました。年内には全部移行できるのではないかと思います。 アンテナやカウンターともなるとはてなの中では古いサービスなので、使っているハードも古い。移転にあたって古いサーバーはハード
sanonosa システム管理コラム集: Linuxでそこそこ安全かつ楽にサーバを立てる方法
【1.初めに】 要望がありましたので、今回はLinux（実際はRedhat系Linux）でそこそこ安全かつ楽にサーバを立てる際の手順を記してみます。 ※一応注意：今回は、試しにサーバを立てる程度であればこのくらいで十分ではないかと思うレベルを想定しています。サービスに投入するサーバでは私はもっと細かいところまで手を入れています。 【2.そこそこ安全かつ楽にサーバを立てる手順】 さて、いよいよ本題です。サーバを立てる際は、不必要なものを全て取り除いてから必要なものを追加していくというのが基本になります。以下の手順1～5では不要なものの除去、手順6～7で必要なものを追加し確認しています。それを踏まえまして。 ■手順1. OSをインストールします。(私はLinuxであればCentOSを入れることが多いです。その際私はインストールの種類をカスタムにしパッケージグループの選択では開発ツール以外全部チ
とあるはてな社員の日記 - まっさらなサーバを30分で本番投入できるようにする
すこし前にはてなスターのリリースがされたのですが、サービス開始直後にありがちなことに、時々負荷で遅くなったり、アクセスしにくくなったりしてしまいました*1。これではいけない、ということで、すぐ次の日に、バックエンドのサーバを一気に10台近くまで増やして、おおむね快適に使える状態になっていると思います。この時に、新しいサーバをまっさらな状態から、だいたい30分程度で本番投入することができていました。これを、どのように実現したのかを軽く紹介したいと思います。 ちなみに、サービスの重さは、サーバ増強だけで済むものではなく、それ以降も、Javascriptが重い!とか、アプリケーションロジックで重いSQL を走らせてしまって遅いという問題は何回かありました。が、そこはインフラではなく、アプリケーションの問題で、アプリケーションの改善は、継続的に進んでいると思います。ので、今回は、インフラの話に限定
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ogawa::Buzz: レンタルサーバを「捨てる技術」
Ywcafe.net
x.com
Log Parserでログを統合的に扱い運用保守に役立てる（実践編）
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine
Java Service Wrapper
https://labs.cybozu.co.jp/blog/kazuho/archives/2007/09/re_server_sig.php