大規模インフラの監視システム | GREE Engineers' Blog
こんにちは。インフラチームの ebisawa です。 今回はグリーのインフラにおける各種機器の監視がどのように行われているのかご紹介させていただきたいと思います。一般にサーバの監視というと、システムダウンを検出するための死活監視を意味する場合と、ネットワークトラフィック等のモニタリングのことを意味する場合とがあります。今回の監視は特に後者についてのお話です。大規模なインフラの監視には、やはり特有の課題があります。 どんなツールを使っているのか グリーではサーバの各種リソース使用状況をモニタリングしてグラフ化するためのツールとして、Cacti を利用しています。Cacti は、大変有名なツールなので皆様ご存知かと思いますが、バックエンドの RRDtool で作成したグラフを閲覧するための使いやすいユーザーインターフェイスを備えています。 http://www.cacti.net/ ツールの使
物理サーバとクラウドの運用管理の違い 2010 03 24 馬場
1. クラウド勉強会 物理サーバとクラウドの運用管理の違い 2010.3.24 株式会社ハートビーツ 技術統括責任者 馬場 俊彰 Copyright (C) 2005-2009 HEARTBEATS Corporation. All Rights Reserved. 2. 株式会社ハートビーツ MSP(Management Service Provider) ● OSSを活用したインターネットサービスが得意 ● ビジネスが成功すること ● システムがサービスを提供し続けられること ● 24時間有人監視＋一次対応、サーバ管理 ● 障害対応エクスプレス ● インフラ診断コンサルティング ● アーキテクチャ検討 ● インフラ見直し、仮想化・クラウド活用 ● インフラ無料相談 ● フルマネージドロードバランサ Copyright (C) 2005-2009 HEARTBEATS Corporati
ベンチマークツールのまとめ | Carpe Diem
サーバ1台あるいは、サービス全体で、いったいどのくらいのパフォーマンスがあるのかについて計測することは、とても重要なことです。 僕が管理しているサービスは、最初にサービスをはじめるときはある程度の規模感を想像しながらまとまめてサーバなどを調達しましたが、サービスを開始してすこしたってきたところで今後の投資計画をたてたいため、月ごとのトラフィックを予測して、いつごろにどのくらいのサーバなどが必要か情報を調査して計画を立てることになりました。もちろん、最初からちゃんとベンチマークを行って計測してサーバを調達したほうがいいのですが、小さい会社では最初はサービスの開発に注力したいため、なかなかそういった時間をとれないのもまた事実です。 ということで、現状のサービスのパフォーマンスを測定するために必要な CentOS 上で動作するコンソールベースのオープンソースなベンチマークツールについて調べてみま
ソースから自前ビルドしたソフトウエアの効率的な管理方法 - （ひ）メモ
ぼくは長年こういう方法で管理してますよ、というお話です。Linuxです。 ディレクトリレイアウト概観 たとえば、asoとbmdという名前のソフトウエアをインストールしている状態はこんな感じ: /usr/local/ ┬ app/ ┬ aso → aso-1.3 │ ├ aso-1.2/ ┬ bin/ ┬ armored │ │ │ └ scrum │ │ ├ sbin/ ─ syd │ │ └ share/ ─ man/ │ ├ aso-1.3/ ┬ bin/ ┬ armored │ │ │ └ scrum │ │ ├ sbin/ ─ syd │ │ └ share/ ─ man/ │ ├ bmd → bmd-2.0 │ └ bmd-2.0/ ┬ bin/ ─ tri │ ├ include/ ─ angle.h │ └ lib/libsnk.so.2.0.0 ├ bin/ ┬ armor
第1回 クラウドをコントロールするということの意義 | gihyo.jp
誰もが大規模インフラを試せる時代がやってきた 第1回では、クラウドコンピューティング環境のひとつとして、プログラマから見たAmazon EC2の魅力と、そのような環境を使いこなすためのオープンソースソフトウェアWakameについて概要を紹介いたします。 私たち開発者はWebシステムのスケールアウトについてのベストプラクティスを世界中から得ることができます。 利用するプロダクトを各々スケールアウトさせるノウハウがやっと一般的になってきましたが、運用まできちんとまとめられたものはまだこれからと言う状況です。 それもそのはず、スケールアウトさせられるほどインフラに投資された環境で、実際に運用をしてみた技術者は少ないのです。 昨今、運用業務が効率化できると言うこともあって、インフラの仮想化技術に注目が集まるようになりました。 仮想化技術は究極のポータビリティを実現し、物理的に結ばれたハードウェアと
ビアバッシュの段取り - 未来のいつか/hyoshiokの日記
某ML社の中で最もビアバッシュに精通したダンドリストと言えばわたしだ。あ、ちなみにビアバッシュつーのは、シリコンバレーあたりで、金曜日の夕方に、(別に金曜日じゃなくてもいいんだけど)、会社でピザなどの軽食をとりつつビールとかワインとか飲みながらわいわい歓談する、まあ言ってみれば、飲み会みたいなものですな。 カーネル読書会をミラクル・リナックスで開催するときは通常ピザパーティと称してこのビアバッシュをとりおこなう。つまみはピザ、飲み物はビールとアイテムが固定しているので幹事としてはこれほど簡単なものはない。 ピザの発注 発注先：わたしはよく、ドミノピザ http://www.dominos.jp/ を利用するのだが、インターネットで注文すると5%オフになったりするので、各自確認しておこう。ピザーラ、ピザハットなどチェーンの出前などもチェックするとよい。 発注量：カーネル読書会の場合、L一枚3
DELL サーバで IPMI を使う方法 | Carpe Diem
最近の 1U サーバなどでは、IPMI という Intel の規格にそったものが搭載されています。IPMI を使うと、おもに次のようなことがなんとネットワーク経由で操作できます。詳しくは、DSAS 開発者のブログを参照してください。 BIOS の設定変更 電源のオフオン 各種センサーの情報の取得(温度やファンの回転数など) 今回、IPMI を使ってみようと思ったのは、おもに BIOS の設定変更を遠隔でやりたいと思ったからで、さらにいうと BIOS のブート順序の設定変更をいちいちデータセンターまで行って行いたくない。データセンターでの現場作業はあまり心身によろしくないということではじめて IPMI を設定して使ってみました。 さて、今回は DELL 1U サーバの R300 + DRAC5 と R200 + DRAC4 での組み合わせでの IPMI の設定方法です。DRAC というのは、
Yahoo!オークションでのMySQL 冗長化技術
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちはオークション事業部プラットホーム技術のチャックです。 オークションでは一部サービスに RDBMS の MySQL を使ってサービスをご提供させていただいております。 オークションでは多くのお客様よりアクセスを頂いておりますので、大量の更新、参照の処理速度に優れた MySQL を選択し、お客様にストレスなくサービスをご利用いただけるよう 日々業務に取り組まさせていただいております。 しかし、精密機器には故障がつきもので、サービス運用の観点からは 「機器が故障するのはしかたない、しかしそれをいかに早く復旧させるか」 といったことを念頭に入れております。 実際には、障害が起こってから復旧させるのではなく、障害が発生した場合に
hollyなblog:サーバ負荷基準 その1
何かというと簡単そうでいろいろ難しい。 リソース不足なんか、ネットワーク周りだとか、IOがボトルネックになってるとか。NFSサーバな構成だとさらにややこしい。クライアントからはサーバの状態ってわかんないし。 っでぐぐるといろいろ情報はでてくるが、負荷のパターンも環境によって違うし。というわけでここのところ何日もそんなことをあれこれ調査してたのでメモ。 それなりに特殊？というか古い環境なので、コマンドはあるけど使えないオプションがあったりとか、使いたいコマンドがあっても使えないとか。 レガシーな環境（linux系）での話。 load average: だれもがまずこれをみるであろうという値。uptimeやwを実行するとよく出てくるあれ。 # uptime 01:54:32 up 1:22, 4 users, load average: 0.02, 0.12, 0.24最後の 1 分、5 分、
Yahoo!ショッピングにおけるログ設計と監視
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ショッピング事業部開発部の吉野と申します。 今回は「アプリケーションログの設計と監視」について、実際にYahoo!ショッピングで採用している方法を少し交えながらお話しさせていただきます。 1.ログ設計のポイント ログ設計は、以下のポイントに注意して行うとよいでしょう。 ・ログ出力のポイントが押さえられているか ⇒セッションの始まりと終わり、処理の過程、例外処理の中など。 フローチャートのような処理フロー図があれば、そこにログ出力ポイントを書き込むとわかりやすくなります。 ・出力する情報に過不足はないか ⇒「いつ(システム時間)」「だれが(プロセスID・IPアドレスなど)」 「どこで(パスなど)」「なにをした(実行コマン
ricollab Web Tech Blog » Blog Archive » 第一回 ライブドア テクニカルセミナーに参加しました
日野原です。 週をまたいでしまいましたが、先週末にlivedoor主催のテクニカルセミナーに参加してきました。 検索するとすでにいろいろな方のレポートが見つけられますね。月曜日は別に片付けなくてはいけない仕事があったので相当出遅れてしまいました。やっぱり週末に清書しておけば良かったかと反省しております。…いや、休日に仕事しちゃいけません。ああ悩ましい。 ということで、あまり遅くなってもつまらないのでセミナー中に取っていたメモを整形だけしてスピード優先で掲載します。 後日発表資料が公開されたら、資料と一緒に見ていただけるとよりわかりやすいかと思います。 なお、私が聞いて解釈したとおりに書いているので、間違ったことが書いてあっても発表内容が間違っていたとは限りませんので察してください。指摘をいただけるとさらに幸いです。 セミナーは社員の方の発表はバックエンドの話が中心で、非常におもしろ
OSC 2009 Tokyo/Sprint 2st Day - なんとなく日記
はてなでの仮想化技術あれこれ AMD でのセミナーのRevise版 はてなの紹介 700万ユーザ 10億PV 仮想化技術 ハードウェアを抽象化し，複数のOSが動作できるようにする Xen/VMware/QEMU/UML/KVM/OpenVZ/etc. 古くはメインフレームの技術らしい 仮想化のメリット(from Wikipedia) 可用性・柔軟性の向上 運用コストの低下 セキュリティの向上 はてなでの仮想化 Xen を利用 Xen における仮想化モデル 仮想化モデルとは 準仮想化 エミュレーションオーバーヘッドを最小に押さえられるが，OS 側の対応が必要 完全仮想化 実ハードウェア用OSがそのまま動作するが，エミュレーションオーバーヘッドが大きくなる はてなにおける仮想化の歴史 CentOS 5 系への移行した際に，Xen を試し始める(2007 前半) 2007 夏頃から，スモールスタ
MySQL管理ツールと開発ツールのまとめ | エンタープライズ | マイコミジャーナル
Smashing Magazine - WE SMASH YOU WITH THE INFORMATION THAT WILL MAKE YOUR LIFE EASIER, REALLY. Smashing MagazineにおいてMySQL Admin and Development Tools Round UpのタイトルのもとMySQLの管理および開発に活用できるツールがまとめられている。MySQLを使った開発やデータベース管理を行っている場合には一度チェックしておきたい内容だ。紹介されているツールを抜粋すると次のとおり。 phpMyAdmin - MySQL管理Webアプリケーション SQL Buddy - MySQL管理Webアプリケーション Aqua Data Studio - MySQL管理アプリケーション(開発向け機能含む) (Win, OS X, Linux, Solari
はてなでの仮想化技術の使い方@AMDセミナー - とあるはてな社員の日記
先週、AMD主催のセミナーで「はてなでの仮想化技術の使い方」という発表をしてきました。 はてなでは、1年半ほど前から仮想化技術に取り込んでおり、現在では300台以上のサーバが仮想化されています。仮想化技術には、様々なメリットがありますが、はてなではサーバリソース利用率の向上と、システムの安定化の二つの利点を重視しています。サーバを仮想化していく際に、どのようなポリシーで一つの物理的なサーバに仮想化ホストを積み重ねているか、とか、実際どれぐらい効率を上げられているか、とか、あとAMDさんのセミナーなので、消費電力的にはOpteronが実測結果からは10〜20%程度効率がいい(負荷時にOpteron 1.82A, Xeon 2.17A)、というあたりの話をしてきました。 How to use Virtualization Technology in HatenaView more presen
ScalableStorageWithOSS05 - mizzy.org - Trac
ずいぶん間があいちゃいましたが、OSS だけでスケーラブルなストレージを安価に構築する方法 #4 のつづき。今回は DM-MP により束ねられた仮想的なブロックデバイス（/dev/mapper/mpath0 と /dev/mapper/mpath1）を、更に CLVM でひとつの論理ボリュームにし、GFS2 でフォーマットした後、実際にマウントしてみます。今回が最終回です。 CLVM のインストールと設定 client0, client1 双方でインストールと設定。 $ sudo yum -y install lvm2-cluster /etc/lvm/lvm.conf を編集し、locking_type を 3 に設定。 locking_type = 3 clvmd を起動。 $ sudo /etc/init.d/clvmd start 物理ボリューム/ボリュームグループ/論理ボリュー
nfs が umount できなかった。kill できないプロセスができちゃった。
えー結論からすると nfs を使ってるときには以下の３点に注意。 1. nfs client 側で umount せずに nfs server が動いているマシンを停止させない。 2. 上記状態になってしまったときに df -k など mount された状態を前提としたコマンドを実行させない。 3. 実行してしまって STAT が D の状態になってしまったプロセスが生まれてしまったらリブートしか解決方法はない。 です。では、何故こんな状態になってしまったか、ポカミスについて備忘録として情報公開です。 まず一番の原因として nfs client の接続を切らずに nfs server が動いているサーバを停止しちゃいました。これが前日にやったこと。バッチ処理で df -k の実行が走りました。 この通りロードアベレージが急上昇しました。df -k によって本来 mount されている nf
thechaw.com/CakeMate/branches/master/vendors/vim/plugins/cakephp.vim
Welcome to TheChaw.com – a unique and memorable domain name for your business or project. With its catchy and easy-to-remember name, this domain is an excellent investment for establishing a strong online presence. Its versatile nature allows it to be used in various industries, making it a valuable asset for growth and success.
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
logsurfer+ 1.7 マニュアル和訳完成 - かずめも ラジカル - AndroidとDebianのある生活 -
