Kazuho@Cybozu Labs: 既製品の管理ツールを使わないことでウェブサービスの TCO を下げる話について hbstudy#8 で話してきた件
昨日、hbstudy#8 で話をする機会をいただくことができたので、Nagios や Amanda といった既製品の管理ツールやバックアップツールを使わずに内製したことで「パストラック」の運用コストを下げた、という話をしてきました。 もちろん、「既製品を使わない」というのもひとつの手段にすぎませんから、それを無闇にお勧めするつもりはありません。ただ、小回りの効くツールを組み合わせる手法にも十分な競争力があるという点、あるいはその事例として参考になれば幸いです。 スライドはこちら。hbstudy 運営の皆様、話を聞いてくださった皆様、ありがとうございました。
バッファロー LinkStation LS-WX2.0TL/R1 のクチコミ掲示板
[ログイン新規ID登録]閲覧履歴ご利用ガイド LinkStation LS-WX2.0TL/R1 のクチコミ掲示板 ホーム > パソコン > NAS(ネットワークHDD) > バッファロー(BUFFALO) > LinkStation LS-WX2.0TL/R1 > クチコミ掲示板 バッファロー LinkStation 2009年11月上旬 発売 LinkStation LS-WX2.0TL/R1 DTCP-IP/RAID1/ギガビットLANに対応したネットワークHDD（2TB）。本体価格は42,300円 お気に入り登録 140 最安お知らせメールが受け取れます 価格情報の登録がありません 価格推移グラフ お気に入り製品に登録すると、価格が掲載された時にメールやMyページでお知らせいたします 価格帯：¥―～¥― (―店舗) メーカー希望小売価格（税別）：¥27,400 ドライブベイ数：HD
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
kumofsはなぜスケールするか - Blog by Sadayuki Furuhashi
先日、分散Key-valueストア kumofs を公開しました。 多く方から反響とフィードバックをいただいています。ありがとうございます。 今回は、kumofs はなぜスケールするのか、なぜスケールすると言えるのかーということについて紹介したいと思います。 ところでスケーラビリティとは何か？ スケーラビリティとは、利用者や仕事の増大に適応できる能力・度合い とされています（端的！）*1 。Scalability を日本語にすると、拡張性 と訳されるようです。 ただ一口でスケーラビリティと言っても、様々な側面があります。ITシステムでは主には処理性能と運用に関することを指す場合が多いと思いますが*2、その中にも様々な側面があります。 なぜスケーラビリティが必要か スケーラビリティは システムなどが持つべき望ましい特性 であって、高いに越したことはありません。しかし、高いスケーラビリティはタ
SaaSのパフォーマンスをSaaSで分析する「Gomez adVantage」
SaaSのパフォーマンスをSaaSで分析する「Gomez adVantage」：ボトルネックを分析し、ユーザー環境を改善 日本コンピュウェアは1月27日、SaaS形式でWebアプリケーションパフォーマンスなどを計測する「Gomez adVantage」の提供を開始した。SaaSベンダなどはGomez adVantageを利用することで、エンドユーザーがそのサービスを利用した際のレスポンスタイムなどを計測することが可能。価格は月額約140万円。Gomezや同社の戦略などについて、米コンピュウェア ワールドワイドプロダクトセールス担当シニアバイスプレジデント パトリック・ステイヤー（Patrick Stayer）氏に話を聞いた。 米コンピュウェアは2009年10月にGomez社を2億9500万ドルで買収。その後、コンピュウェアは同社の「Compuware Vantage」との連携・統合を進めて
来年度(2010年度)のRFPで主流となりそうなサーバ - blog.nomadscafe.jp
WEB+DB PRESS Vol.51の連載で、サーバRFPを設定してそれに基づいて購入していると書きましたが、来年度(2010年度)ぐらいのRFPになりそうな主流となるサーバを考えてみました。 まず、共通していること、前提など CPUのコア数はHTなどによる論理コア含む計算 ネットワークインターフェイスは1Gbpsを2つ以上。RX/TX MultiQueueをサポートしていること SSDはIntel X25-M 160GBもしくは同等製品 サーバは主に4タイプあります。 ■Utility Server 小規模DB、Q4MやGearmanなどのJobQueue/Workerサーバ、memcachedやSquid/Varnishなどのキャッシュサーバに利用するサーバ。目的に応じてHDDをSSDに換装して利用できることが必要となります。 CPU 8コア以上 * 1 Memory 16GB HD
Karesansui - mizzy.org - Trac
Karesansui が KVM に対応というニュース を見たので、試してみることにした。 チュートリアル では OS インストールから解説されていてとても親切なんだけれど、うちの既存環境は CentOS 5.3 から 5.4 にアップグレードして KVM 環境を整えたせいか、いくつかはまったポイントが。 チュートリアルでは、kvm-qemu-img を削除しておけ、と書いてるんだけど、うちの環境では、以下の qemu と名のつくパッケージをすべて削除する必要があった。 qemu qemu-system-sh4 qemu-system-ppc qemu-system-arm qemu-system-x86 qemu-system-cris qemu-system-sparc qemu-system-mips qemu-system-m68k qemu-user qemu-common qe
Kazuho@Cybozu Labs: 監視とは継続的なテストである、という話 (もしくは cronlog とテストスクリプトを組み合わせた監視手法について)
結論から先に。cronlog を使えば、アプリケーションのテストコードと全く同じ形式で、監視用のスクリプトを書くことができます。プログラマが監視ツールの記法を覚える必要はありません。これは、プログラマが運用も行うケースでは特に有効な手法だと思います。 先週公開した Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法 というエントリで、crontab と拙作の cronlog を用いてサービス監視を書く手法を紹介しました。しかし、挙げた例はいずれも ping や http のテストといった外形監視の手法です。RDBMS とウェブアプリケーションのみから構成されるサービスならそれだけで十分でしょう。 しかし、外形監視だけでは、メッセージキューのような非同期処理の遅延を観測することはできません。また、http のログを監視して、エラーレスポンスや平均応答
LsyncdRsyncTargetDirectory - mizzy.org - Trac
lsyncd が rsync する対象ディレクトリを調べてみた inotify + makuosan でいい感じのリアルタイムミラーリング で、lsyncd は結局は rsync を裏で呼び出してるので、差分チェックの呪縛からは逃れられない、的なことを書いてたんですが、ふと、「もしかして、inotify から rsyncを呼び出すときに、同期対象となるファイルは、指定したディレクトリ以下のもの全部ではなく、変更があったファイルがあるディレクト以下のものだけ、なんて動きをしてくれるのかな？」と気になったので、実際に試してみました。結果から先に言うと、想定通りの動きとなってます。これって常識なんですかね？以下、試した時のログ。 ログを確認するために、lsyncd をフォアグランドで起動。 $ ./lsyncd --no-daemon /tmp/lsyncd localhost:/var/tmp
Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法
監視とは継続的なテストである、という話 (もしくは cronlog とテストスクリプトを組み合わせた監視手法について)に続きます 今日ようやく、積ん読状態だった「Software Design 2010年1月号」を手に取ったのですが、特集が「今日から使えるスクリプト満載！ [プロ直伝]お手軽サーバ監視術」。興味深く拝読したのですが、もっと楽ができるのにと思うところも。ちょうど、昨年末に運用しているサービス「パストラック」のサーバを移転し、crontab と perl で書かれたスクリプト群を使った監視環境を構築したところなので、そこで使っているスクリプト cronlog を紹介したいと思います。 特集の前書きにも書かれていることですが、サーバやネットワーク機器が多数ある環境なら、Nagios を始めとする、専ら監視のために作られたソフトウェアを使って、監視システムを構築すべきです。逆に小規
ウェブアプリケーションサーバを複数台構成とか2010年代には流行らない - kazuhoのメモ置き場
タイトルは煽り入ってますが。 仮に動的ページを生成するのにかかる時間が1秒、そのうちデータベースやmemcached等リモートサーバへの問い合わせ時間を除くいたCPUの処理時間が0.1秒とする。また、ピークのリクエスト処理量は、平均の２倍とする。 そうすると、クアッドコアのアプリケーションサーバで処理できるリクエストは、 4 core * 10 reqs/sec * 86,400 sec/day * 30 day/mon / 2 = 51,840,000 reqs/mon と、約5,000万PV/月を１台で捌けることになる。 CPUが動いている時間は全処理時間の10倍と仮定したわけだから、アプリケーションサーバの最大同時接続数は 4 core * 10 = 40 程度あればいいことになる。実際には、安全係数を２倍かけて 80 とか。リクエストの処理に必要なメモリ量を 100MB とすると、
Hadoopを業務で使ってみた話 - クックパッド開発者ブログ
8月に入社した佐々木です。こんにちわ！ 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求めているはず…！！ そこで、僕が実際に触ってみて困った事やHadoopを使う上でポイントだと思ったことなどを社内勉強会で発表したので公開してみます。Hadoopを使っている（使いたいと思っている）方の参考になれば幸いです。 [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopの利用はまだまだ試行錯誤の連続
Kazuho@Cybozu Labs: TCP通信ではデータの送信をまとめて行うべき、もうひとつの理由（＆ サーバのベンチマーク手法の話）
TCP通信をするプログラムを書く際に「データの送信はまとめて１回で」行うべき、というのは鉄則と言っていい、と思います。その理由としては、パケット数を最小限に抑えることでオーバーヘッドを少なくするためだと一般に説明されますが、自分はもうひとつポイントがあると考えています。次のグラフを見てください。 グラフは、一定量のデータを転送するのにかかる時間と使用するブロックサイズ（１回のwrite(2)で書き込むサイズ）の関係を表したものです注1。 ホスト間のTCP通信を行っている場合は、TCPのバッファが有効に機能するので、ブロックサイズ（＝パケット数の逆数）による速度の変化は、ほぼありません。一方、同一ホスト上で通信を行うと、ブロックサイズと反比例して所要時間が反比例の関係にあることがわかります。 原因は、同一ホスト上の通信では、送信プロセスがwrite(2)を呼ぶたびにコンテクストスイッチが発生
自作って得なのかなと思って計算してみた (自作サーバカンファレンス感想) - kazuhoのメモ置き場
一昨日、自作サーバカンファレンスに参加してきました。とてもおもしろく色々刺激をうけました。はてなの田中さん楽天の方々始め、スピーカーの皆さんありがとうございました。ただ分からなかったのは、サーバを自作する必然性がどの程度あるのかな、という点でした。 確かに、発表者の方々が構築されているような、1CPU, 8GBメモリのような構成では、自作サーバには（少なくとも原価ベースでは）価格競争力があるようです。はてなさんは Core 2 Quad + 8GBメモリ + X25-M (SSD) で10万円という目安を提示してらっしゃいましたが、同等の構成をベンダーから購入するとなると、1.5〜2倍の価格になるのかな、と思います。例えばDELLのオンライン価格*1は以下のようになっています*2。 DELL PowerEdge R200 - \145,900- Xeon X3330 (2.66GHz, Q
自作サーバカンファレンス「はてなの自作サーバの実際」＋他セッション講演メモ - RX-7乗りの適当な日々
本日の自作サーバカンファレンス、申し込みして楽しみにしていたのですが、体調がよろしくなかったので泣く泣く不参加・・・にしようとしていたところ、なんと！Ust(USTREAM)配信されているようだったので、そっちで視聴しました。感謝！！ 1つ目のトークの"はてな"の自作サーバ事情の話、他各トークセッションのメモ書きを今後の自分のために残しておきます。 田中さん(id:stanaka)のオープニングセッション 自作サーバは安い早いうまい 必要十分な仕様 部品単位で調達・組立 独自のカスタマイズ(SSD使いたい、など) はてなでは1年くらいSSD使っている！ 安い Core2Quad + 8GB + SSD X25-M 80GB \100,000 + 5,000/month (1A) \160,000/year Amazon EC2と比べても、1年でもとが取れて、SSDも付いてくる 自作サーバの
SSL/TLSサーバ証明書 | 信頼の国産SSLなら格安のアルファSSL（公式サイト）
アルファSSLサーバ証明書の特長: アルファSSLは最大256bitの暗号化通信を実現するSSLサーバ証明書です。 オンライン審査により最短２分で発行、コスト削減と煩雑な手続きの解消を実現しました。 個人事業主様や個人の方にも対応しており、より多くの方に手軽に、SSL/TLSを格安で、安心してご利用いただけます。さらに、アルファSSLの場合デユアルアクセス対応により、「www.＋ドメイン名」の証明書の場合、「ｗｗｗ」あり、「www」無しの両方でご利用できます。(※承認条件あり)認証方式も【メール認証 】と、【ページ認証】、【DNS認証】の3つから選択可能。 世界規格に準拠した、信頼の国産CA。 99%以上のブラウザをカーバーしているので、ホームページの全体をSSL化する常時SSLにも安心してご利用いただけます。
Monitでサービス・プロセス監視、止まったら勝手にリスタート(1) « SawanoBlog.
Linuxサーバの話。 シンプルにサーバ上のプロセス監視をしたければ「Monit」が最近のお気に入りです。 プロセスの自動再起動とかは、「qmail+FreeBSDでdaemontoolsを使う」といった組み合わせをしたことはありますが、どうにもプロセスの堅牢化まで手順が多くて大変でした。 この前CentOS5でちょっと止まりにくい（止まってもすぐわかる）サーバを作らないといかんとなったので、外部監視はNagios、内部リソース情報取得にNRPE、そしてプロセスの死活監視をMonitでやって見たところMonitの使い勝手が思いのほか良かったので使い方を記事にしておく。 Monit公式サイトとマニュアルドキュメント http://www.tildeslash.com/monit/ http://www.tildeslash.com/monit/doc/ Monitによるローカルプ
lsyncdをつかって簡単にファイル同期を - UNIX的なアレ
lsyncdというツールをご存じでしょうか？これを導入することで、リモートのホストとディレクトリ単位で同期をすることができます。 先日のエントリーでも紹介していますが、実は設定や導入がすごく簡単です。した設定でリモート間でファイルの同期をとれるのはやはり便利ですよね。 さて、今回はlsyncdの簡単な導入方法を紹介したいと思います。 lsyncdの仕組み lsyncdはlinux kernel2.6.13で導入された、inotifyというAPIをつかって動作しています。 inotifyはファイルシステムのイベントを取得することができるAPIで、ファイルの作成や削除などをそれぞれイベントとして取得をすることができます。 この仕組みと、rsyncを組み合わせてファイルの同期を行うことを実現しています。 lsyncdのインストール まず、以下のページからsourceをダウンロードしてください。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cloudkick | home
IBM Developer
