完璧な監視システムの作り方 in cybozu.com - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Hazama チームの萩原(@hagifoo)です。 ハードウェアは故障し、ソフトウェアにはバグがあり、運用ではミスがおきるもの。もちろん、障害が発生しないのが理想ですが人間が作ったものに完璧はありません。そこで、障害の前兆や発生を捉え、その詳細を運用チームに知らせるための監視システムが必要となります。cybozu.com でも以下のようにありとあらゆるものを監視するシステムを構築し日夜監視を行なっています。 今回は、そんな cybozu.com の監視(モニタリング)システムについてお話しします。 cybozu.com と障害 監視システムの設計 3つの監視 外形監視 症状監視・リソース監視 ログ監視 その他の監視 モニタリングフレームワーク 誰が監視者を監視するのか？ まとめ cybozu.com と障害 まずは、監視対象である cybzou.com について説明します。
Javaウェブオペレーションエンジニアがトラブル切りわけ時に見ていること3つ - カイワレの大冒険 Third
忘年会シーズンで肝臓への負担を極力避けている@masudaKです。今回はJavaアプリケーションの運用のポイントに関して、書いてみたいと思います。 このエントリはJava Advent Calendar 2012の22日目のエントリです。 Javaアプリケーションの運用ポイントとは 昨今ではLLのほうが敷居が低く、開発スピードも早いということからか、PHPやRubyなどのLLによるWebアプリケーションが多くリリースされているかと思います。 しかしながら、TwitterがJVMベースの開発にシフトしたように、より深いレベルで実装を行おうとした際にLL以外の実装も一つの選択肢として残っているのは間違いないでしょう。 そのようななかで自分が最もよく触れているJavaでのアプリケーションの運用ポイントについて述べてみたいと思います。 ここでいう「運用」とは、サービスをリリースしたのち、サービスへ
ヤフーネットワーク10年
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは、ヤフーでネットワーク設計に携わって早10年の松谷と申します。 今回はヤフーネットワーク10年と題し、ヤフーの重要配信インフラの一部であるネットワークについて、過去の課題と共にご紹介していきたいと思います。 2000年 この頃のヤフーでは検索やオークションといったサービスのウェブサーバーへ、大量のアクセスが集中し高負荷になる事が多々ありました。当時、ほとんどのサービスが皆さんご存じのDNS Round Robin（以下DNSRR）で運用していました。DNSRRは非常にシンプルで優れた機能ですが、サーバー障害時にはAレコードを手動で抜く作業が必要です。またDNSの512byte問題でAレコードを束ねるのが限界にな
Evernoteのアーキテクチャ概要 - nokunoの日記
みなさん、Evernoteは使っていますか？ Evernoteは「全てを記憶する」が合言葉のメモアプリで、クラウド上にデータを保存してWin/Mac/iPhone/Webから共通のデータにアクセスしたり同期したりできるのが特徴の便利なサービスです。開発元はシリコンバレーの会社ですが、日本人のユーザも非常に多いそうで、Evernoteの使い方についての記事は日本語でも星の数ほどありますのでここでは触れません。 今回は、そのEvernoteの裏側のシステム概要を解説する記事が今月開設されたばかりの技術ブログに公開されていましたので、翻訳してみました。Architectural Digest | Evernote Tech Blog はじめにこのブログの手始めとして、Evernoteの構築について大雑把な概要を述べる。ここではそれぞれのコンポーネントの詳細に踏み込むことはしない。それらについての
Automation Tech Casual Talks #1で発表してきた。 : インフラエンジニアに成る
Puppet使って構成管理を自動化したときにDevOps意識したよーな内容。 さて、おもったより#autotechcasualでつぶやきまくっていたので思い出しながら以下、つらつらと。 第2回開催時の参考になればと思います。 先にまとめ。 ・インフラ視点の話が中心 ・ChefとPuppet使っているけどどうなの？な話 ・Jenkinsチラチラ ・AWS使っているお話ちらほら ・DevOpsの意識 このあたりに興味あるかたには非常に意味のある集まりになったかと思います。 僕は楽しかったな〜。 ※ 資料はアップに気づいたら随時追加しております。 ■@n0tsさん 主催者が先頭きって発表。 「ぼくがかんがえたさいきょうの☆きっくすたーと☆」はたしかに最強だった。 cobblerのkickstartでどこまでできるかがテーマ。 githubにまとめてあげているのがすばらしい。 ただ、3年ほど使用し
Dropbox のスケールとか
Python なサービス みんな大好き Dropbox のスケールとかメモ。以下のページ辺りからピックアップ。Parted? みたいなので、続編がでたら追記するかも。 Scaling lessons learned at Dropbox, part 1 (comment) Dropbox - Startup Lessons Learned (slideshare) Dropbox -Yコンビネーターが生んだスタートアップの軌跡と未来 - スケール関係ないですが、2006 年当時はオンラインストレージサービスがいっぱいあったようで、VC から資金調達したときのやり取りがおもしろい VC "クラウドストレージサービスなんて腐るほどある" Drew "なにか使ってるのありますか？" VC "NO" Drew "..." 完璧で、スケーラブルで、クロスプラットフォームなクラウドストレージ！当時、プ
Web開発チームをタスクボードだけで見える化する 5つのコツ - Lancers開発ブログ
はじめまして。今月からランサーズにJOINしましたkeiと申します。 長らく更新が滞っていた本ブログですが、これから定期的に情報発信していこうと思ってますので、どうぞよろしくお願いします！ ランサーズでは、エンジニアの作業を見える化するために、タスクボードを導入しています。 今回は、社内で運用してみて効果的だった5つのコツをご紹介します。 タスクボードとは ボードを作業予定、作業中、作業完了(ランサーズではToDo,Doing,Done)の3つのレーンに分け、タスクをその状態に応じて適切なレーンに置くことで、タスクの見える化とステータス管理を行うツールです。 ランサーズでは、ボードとしてホワイトボードを、タスクは付箋に書いたものを貼って運用しています。 運用ルール ランサーズでは、以下の流れでタスクボードを運用しています。基本的な流れは、よくあるタスクボードの運用方法と同じです。 発生し
うるう秒でいろいろ朝から面倒だった件
[追記 20120702] dateコマンド修正しました いつか役に立つかもしれないので。。。。 2012-07-02 うるう秒のあとにMySQLなどのCPU使用率が高騰する件についてのエントリーで、 NTPを動かしていてうるう秒の挿入があるMySQL 5.5を使っている場合にCPU使用率が上がる可能性があるとあったので、調べてみたらやっぱりCPU使用率が上がってました。。。 あと、javaが暴走していると聞いたので、jenkinsがやばいかもと思ったら、やっぱりダメでした。。。 MySQLのCPU使用率の上昇の対応sshはできる状態でした。 LAは少し高いくらいでした。 MySQLのバージョンmysql Ver 14.14 Distrib 5.5.23, for Linux (x86_64) using readline 5.1 うるう秒の挿入の確認# grep -3 "insertin
橋本商会 » Mobage運用技術勉強会に行ってきた
Web公開制限が無いらしいので、殴り書いたメモを貼り付けておく。 謎のアルゴリズムで集められたはてなユーザーに、モバゲーの運用技術を惜しげもなく教える勉強会に行ってきた。 インフラもPerlも全然わかんないんだけど何故誘われたのか謎。 モバゲーすごい・・・台風激しかったけど行ってきて良かった。特にモニタリング手法が面白くて、一瞬だけ全プロセスにデバッガをアタッチして待機状態のプロセス数を調べるとか、DBバックアップサーバーの遅延を監視してるとSlaveへの遅延発生が予測できるとか。頭いい。 たぶんMobageを支える技術に書いてある内容の一部だと思われるので、本も買ってみる。 あと社食で閉店前に「モバゲ〜」って歌が流れててわかめ高校みたいで面白かった。 2012年6月19日 @ DeNA 渋谷ヒカリエの21階 台風きてるからヤバかったらすぐ帰りましょう インフラ部門紹介（小野氏） 世界展開
Monitoring Casual Talk #1 に参加してきた! #monitoringcasual - blog.nomadscafe.jp
いやー、おもしろかった。主催の @kenjiskywalker さんはじめ皆様ありがとうございます。 Monitoring Casual Talk #1 : ATND http://atnd.org/events/29621 みんな共通した悩みがあるんだなと改めて思いました。とくにアラートを受け取るための携帯の着信音。自分は「鳩時計」が苦手です。ぱぽーぱぽー。 あとはカクさんDisが多かったですね。個人的にもマウスメインで設定を行う運用ツールは使いたくないです。 自分の発表資料はslideshareに上げました。年始の「hb qp bp study 新年LT&ビアバッシュ2012」で少し喋ったDHWChainの話のアップデート版と、監視ツールを選ぶ際に思う事を放言しています。 アプリケーションエンジニアがvimやemacsについてあれこれ言うように、運用を行うエンジニアも主たる仕事道具であ
Munin 2.0(stable)登場☆新機能はとってもうれしいなって（第1回） | Pocketstudio.jp log3
◆ Munin 2.0 (stable) が遂にリリース！ “リソース推移のモニタリング” ただ、それだけに特化した、監視ツール Munin 。設計思想は、シンプルかつパワフルに。 Munin は、サーバの「リソース推移」を見るためのツール。簡単なセットアップで、ブラウザを通して、サーバの中の様々な状況を、グラフとして見ることができる。例えば、CPUの使用状況や、メモリ、ディスク等々。障害通知の機能は最低限。あくまでリソース推移を簡単に見ることに特化。 単純に数値を見るだけなら、sysstat(sar)や各種のログを見る事でも目的は達成できる。しかし、障害発生の現場においては、複数のサーバから、複数の指標を取得＆比較し、迅速な対応と判断が求められる。そこでは、ログの追跡は時間や人手がかかる。一方、グラフで障害発生ポイントを、視覚的に、迅速に把握できるようになる事は、原因切り分け時間の短縮
「DevOps Days Tokyo 2012」でChefの話をしてきたので資料を公開します - 元RX-7乗りの適当な日々
5/26(Sat.)に「DevOps Days Tokyo 2012」が日本で開催され、その中でご縁を頂きまして日本語枠でお時間をもらい、Chefを使った取り組みについて話をさせていただきました。 DevOps Days Tokyo 2012 - welcome このイベントでは、「DevOps Cafe」といった今世界で一番DevOpsの最先端情報が発信されていると言われるPodcastを配信している enStratus の John Willis 氏や、 DTO Solutions の Damon Edward 氏、Chefの開発元である Opscode の George Moberly 氏などといったビッグゲストの話を日本国内で聞けるといったDevOpsの祭典ともいえるイベントだったと思います。 その中で僕の話はと言うと、所属している会社で取り組んでいるアメーバピグの運用の話や、その
DevOpsDays Tokyo 2012に参加してきたので聞いたこととか思ったことまとめ - As a Futurist...
DevOpsDays Tokyo というイベントが行われていたので参加してきました。DevOps という単語やムーブメントを牽引する英語圏のゲストを招いての大規模なイベントでした。会場の GMO さんやスポンサー各社のご協力のおかげか、至れり尽くせりな感じですごかったです。 Tokyo 2012 – welcome セッションスピーチはほとんどが各社製品紹介みたいな感じだったので割愛しますが、その後に行われた OpenSpace が相当エキサイティングでした。これは海外のカンファレンスだとよくある形式なんですが、会場とコマだけ用意されているので、あとは話したい人が話したいテーマをその日に適当に入れてプレゼンとかディスカッションをするという感じのものです。その場で生まれる議論のダイナミズムは、普段から色々と頭を使って手を動かしているエンジニアにとってはとても刺激されるものではないかと思います
NHNテクノロジーカンファレンスで見たDeNAのMySQL運用の話とAmazon RDSの比較など。
NHNテクノロジーカンファレンスにいってきた。 DeNAでのMySQL運用の話。岩永さんが話をしてくれたおかげでこれから外で話せますありがとうございます! という具合。 実に実直で正直で手間をかけた運用で、なおかつその手間をなくすためのツールの開発、アプリケーションも一体となったとりくみのすばらしい実例だと思う。 このセッションではAWSならばの話は当然いっさいなかったのだが、AWSのMySQLサービスであるRDSならどうするのかを書いてみる。 サービスが縮小するときの話。スケールバック(スケールイン)時に2つあったマスターDBの数を減らす。その際にはosの上に二つ目のMySQLをたちあげる方法をとっている。二つ目のMySQLは違うIPアドレスで立ちあげて、それをbind-addressを指定している。 RDSを使っているならば、サービスを縮小するならば、大きなインスタンスから、小さなイン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今日から業務で使える17の運用系Linuxツール、そして円環の理
運用エンジニアの教育
俺の Munin がこんなに軽いわけがない #監視ツール勉強会
http://atnd.org/events/29621
http://dl.dropbox.com/u/224433/fluentd_casual_1/index.html