collectd
collectd-6.0.0.rc3 collectd-5.12.0 Start | Download | Documentation | Contact collectd is a daemon collecting system and application performance metrics periodically and provides mechanisms to store the values in a variety of ways, for example in RRD files. What does collectd do? collectd gathers metrics from various sources, e.g. the operating system, applications, logfiles and external devices,
Kazuho@Cybozu Labs: blockdiff を使ったお手軽ホットバックアップ環境の構築 (Linux, MySQL, etc.)
一昨日に開催された hbstudy #7 にバックアップの話を聞きに行ってきました。Amanda を中心にした話で、とても勉強になりました。が、設定がめんどくさそうだなぁ、とも。自分の需要にはあわない感じでした。 勉強会が終わったあとで、自作のバックアップスクリプト blockdiff に関する話を何人かの方とさせていただいたのですが、思いのほか反応が良かったので、あらためて紹介したいと思います。 blockdiff は、一言でいうと、パーティションやデータベースのデータファイルの差分バックアップツールです。rsnapshot に似ていますが、rsnapshot ではデータベースのホットバックアップ不可能です。逆に blockdiff はディレクトリ単位でのバックアップには対応していないかわり、ファイルシステムやデータベースを、一貫性を保ちつつ実質無停止で差分バックアップすることができます
Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法
監視とは継続的なテストである、という話 (もしくは cronlog とテストスクリプトを組み合わせた監視手法について)に続きます 今日ようやく、積ん読状態だった「Software Design 2010年1月号」を手に取ったのですが、特集が「今日から使えるスクリプト満載！ [プロ直伝]お手軽サーバ監視術」。興味深く拝読したのですが、もっと楽ができるのにと思うところも。ちょうど、昨年末に運用しているサービス「パストラック」のサーバを移転し、crontab と perl で書かれたスクリプト群を使った監視環境を構築したところなので、そこで使っているスクリプト cronlog を紹介したいと思います。 特集の前書きにも書かれていることですが、サーバやネットワーク機器が多数ある環境なら、Nagios を始めとする、専ら監視のために作られたソフトウェアを使って、監視システムを構築すべきです。逆に小規
ソースから自前ビルドしたソフトウエアの効率的な管理方法 - （ひ）メモ
ぼくは長年こういう方法で管理してますよ、というお話です。Linuxです。 ディレクトリレイアウト概観 たとえば、asoとbmdという名前のソフトウエアをインストールしている状態はこんな感じ: /usr/local/ ┬ app/ ┬ aso → aso-1.3 │ ├ aso-1.2/ ┬ bin/ ┬ armored │ │ │ └ scrum │ │ ├ sbin/ ─ syd │ │ └ share/ ─ man/ │ ├ aso-1.3/ ┬ bin/ ┬ armored │ │ │ └ scrum │ │ ├ sbin/ ─ syd │ │ └ share/ ─ man/ │ ├ bmd → bmd-2.0 │ └ bmd-2.0/ ┬ bin/ ─ tri │ ├ include/ ─ angle.h │ └ lib/libsnk.so.2.0.0 ├ bin/ ┬ armor
Kazuho@Cybozu Labs: パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ (BPStudy#25発表資料)
先週金曜日、BPStudy#25で、「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」という題目で話をさせていただきました。その際に使用した発表資料は以下のとおりです。 1. Happy Optimization 最初に、最適化の考え方として、上限値を予測し、それを元にリソース配分を考える、という手法を説明しました。
Welcome to Freecode – Freecode
Browse free open source Software Development software and projects below. Use the toggles on the left to filter open source Software Development software by OS, license, language, programming language, and project status. JS7 JobScheduler is an open source workload automation solution. JS7 offers cross-platform job execution, managed file transfer, complex no-code job dependencies and a real REST
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
Heroku | Cloud Application Platform
Spotlight Data on Heroku Build data-driven apps with fully managed data services. Move Fast Unleash your inner startup Choose Heroku for the same reasons disruptive startups do: it’s the best platform for building with modern architectures, innovating quickly, and scaling precisely to meet demand. Developers Focus on your apps Invest in apps, not ops. Heroku handles the hard stuff — patching and u
Engine Yard hiring developers to help build our cloud
Introduction Ruby on Rails, a server-side web application framework has greatly influenced web application development since its emergency in 2005. Ruby on Rails is written in Ruby under MIT licence, and I should warn on not confusing Ruby on Rails to the Ruby language. Among many other reasons, this is why you definitely should consider Ruby in your next web application project. Popularity Is Rub
Kazuho@Cybozu Labs: setlock を使って cron をぶんまわす方法
« データベースをコピーするモジュール DBIx::Replicate | メイン | Tritonn (MySQL+Senna) の join を高速化 » 2008年01月30日 setlock を使って cron をぶんまわす方法 事前計算や DB 再構築を手軽に実行するのに cron は便利ですが、タスクのまわし過ぎによるサービスのパフォーマンス低下や実行順序の制御を別途行う必要があります。自分は、そのためのツールとして、daemontools の setlock コマンドがお気に入りです。setlock は、flock を用いて、タスクの待機や実行中止を制御することのできる、とても小回りのきくプログラムです。 1-59/* * * * * /usr/local/bin/setlock -nx /tmp/precompute.lock /usr/local/bin/setlock
ヽ( ・∀・)ノくまくまー(2007-06-05)
● 1. 一戸建てタイプ そのアプリ用に専用のマシンを準備できるケース。例えば、アクセス数が少ないβリリース時などは mongrel を直接80ポートで運用することもあるだろう。そして、負荷の増加、またはマルチコアを活かすという次の段階で、cluster 化した mongrel を扱う必要に迫られた場合、このタイプになる。この場合、フロントの仕事はバック(Rails)への割り振りだけだが、そのためにわざわざ Apache2 を持ち出すのは仰々しいと感じるかもしれない。そんな人にお奨めしたいのが Pound サーバだ。いきなり Apache から話が逸れてしまうが、このケースだとリアルでお奨めである。 Pound + mongrel Pound はリバースプロキシ用のWebサーバであり、特化しているだけあって、必要最低限かつ直感的で簡単な設定で済むため、敷居が低いのが魅力だ。それでいて、デジ
P3Pについて - 雑記帳
2004年夏に作成したメモ*1。 P3Pの正式名称はPlatform for Privacy Preferences Project。バージョン1.0は2002年4月にW3Cにより勧告されている。まだ一般的とは言い難いものの、IE6がP3P対応であるために、P3Pの中身云々より先に、半ば強制的な環境のP3P対応化が今後顕在化してくるものと思われる。 考え方としてはCCPLに類似している部分も見受けられる。CCPLはlegal code（法的条項）、human readable code（コモンズ証）、machine readable code（機械可読コード・メタデータ）の3層構造になっているけれど、P3Pもhuman readable privacy policy(人間が解読可能なプライバシー・ポリシー)、machine readable privacy policy(機械が解読可能なX
J U M P E R Z . N E T - Amberjack@JUMPERZ.NET
Tools -> Amberjack@JUMPERZ.NET Overview Amberjack@JUMPERZ.NET is a network/server monitoring tool. The demo is here. This tool is developed just for fun. You should not use this tool on the production environment. Features - Published as open source code - Witten in Java and JavaScript - Requires a lot of CPU cycles :p - Round robin database ( http://www.jrobin.org/ ) is used -
連載：オープンソースなシステム自動管理ツール Puppet｜gihyo.jp … 技術評論社
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
[Think IT] サーバが重いってどういうこと? (1/3)
サーバが重いってどういうこと? 著者：ウノウ 尾藤 正人 2007/10/4 2007年10月の連載ランキング1位（一覧を見る） サーバ管理者だけではなく誰でも一度は経験したことがある「サーバが重い」という現象。一言で「重い」というのは簡単ですが、重いというのは具体的にどういうことなのでしょうか。 ここでいう重い・軽いは単一のベクトルで判断できるような簡単な代物ではなく、様々な要素によって発生する現象です。処理が重いからといって闇雲にハードウェアを増強するのは賢いやり方とはいえません。例えば、メモリ不足が高負荷の原因なのに、CPUを高速なものに変えても効果はほとんどないでしょう。 このような無駄な投資を避けるためにも、負荷の原因を特定して素早く対応策を講じるのはサーバ管理者にとって重要なスキルになります。本記事ではサーバ負荷の特定の仕方と対策の仕方について、簡単な概要を説明します。
ウノウラボ Unoh Labs: オープンソース戦略により、無償で使えるようになった負荷テストツール
こんにちは！ やまもと＠テスト番長です。 ウノウラボのコメント欄まで熟読されている慧眼な方は既にお気づきかもしれませんが、WebLOADという商用の負荷テストツールがオープンソース化され、無料で利用出来るようになりました。 http://www.webload.org/ 以前自分が書いた WEBアプリのテストに必須なツール7種のエントリにsaltysonicさんがコメントで教えてくださいました。ありがとうございました！ souceforge.net を探してみたところ、見つかりました。 WebLOAD 早速触ってみていますが、さすがに元商用だけあって多機能なようです。 関連記事も探してみたところ、以下のものが見つかりました。 http://news.earthweb.com/ent-news/article.php/3670176 http://www.testingreflec
Apacheに対するサービス拒否攻撃を回避する方法
筆者は最近，Apache HTTPサーバーに対するサービス拒否攻撃を防御するWebベースのセキュリティ・ツール「mod_evasive」を使い始めた。mod_evasiveは特定の挙動を探してそれをブロックするモジュールである。 mod_evasiveは，筆者が昨年の12月に紹介した「Suhosin」に似ている（関連記事：PHPの「守護神」Suhosin）。SuhosinはPHPスクリプティング・エンジンの安全性を大幅に高めるパッチである。Suhosinは，害を及ぼす危険性を持つありとあらゆるWebベースのコンテンツを検出し，それらがPHPエンジンを越えてシステムやネットワークに到達するのを防ぐ上で役に立つ。 mod_evasiveが機能する仕組みを説明しよう。mod_evasiveはまずURLリクエストをApacheサーバーに送信するIPアドレスの記録を取る。その後，あらかじめ設定した許
TAKESAKO @ Yet another Cybozu Labs: ニコニコ動画勉強会に行ってきました
本日ドワンゴさんの会議室にてこっそり開催されたニコニコ動画勉強会に参加してきました。 日本の動画コメントサービス「ニコニコ動画」の裏側をドワンゴの開発者の方から 直接お話しを聞いて、参加者も一緒に意見交換ができる非常に面白い勉強会でした。 ドワンゴさんとしては会社で行なう技術者向けの勉強会初めての試みということもあり、 まずは開発者の知り合いベースで声をかけあって少人数で開催することにしたそうです。 六本木のクラブの人や、バイナリカンファレンスでご一緒した人とこんなところで お会いできるとは思っていませんで、さまに想定の範囲外でした。 その甲斐あって密度の濃い話ができたと思います。 以下、自分用のメモを公開できる範囲で書きます。間違っていたらすみません。（ご指摘いただければすぐに訂正します） ■ニコニコ動画の苦労話 (Sさん) ニコニコ動画の歴史 2006年10月 一人でプロトタイプを開発
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
一定規模以上のWebサイトを運営しているエンジニアの方、業務時間外の障害対応ってどういう風にやっていますか？ - 人力検索はてな
【ぷろじぇくと ぞうさん】 〜E-Bananaサーバ 構築日記〜