自動障害回復システム 月読の話 - Cybozu Inside Out | サイボウズエンジニアのブログ
@ymmt2005 こと山本泰宇です。短い夏休みから帰ってきました。 今回は cybozu.com のデータセンターで運用を開始した自動障害回復システム「月読」を紹介します。障害にも色々ありますが、今回紹介するのは仮想マシンのホストサーバーの物理障害を検出して、稼働していた仮想マシンを予備のホストに移動する仕組みです。 月読は、データセンター全域に分散したエージェントが協調動作するピア・ツー・ピア (P2P)システムとして作られています。以下分散システムの話題が多数でてきますが、とても難解というわけではないので、分散システムの入門記事としてお楽しみください。 障害にどう対処するか 障害対応の自動化 設計のポイント エージェント間通信 障害の検出と回復 その他の機能 まとめ 障害にどう対処するか 物理障害対策の基本は二重化(多重化)です。アプリケーションサーバーのようにデータを持たないサーバ
GIGAZINEで使っているWebサーバ「PowerEdge T310」障害の一部始終
GIGAZINEの中核になるWebサーバ PowerEdge T310がここ最近頻繁にKernel Panicを起こし、サーバダウンする事態が発生、複数台構成なので閲覧しているGIGAZINE読者には何も影響がないのですが、内部的にこのまま放置することもできず、DELLのメーカーサポートに問い合わせなどを行うもののなかなか原因が特定できず、謎の現象となっていたものの、ようやくその原因が特定され、やっとこさなんとか回復しました。 同様のことで悩んでいる場合には問題特定のために役立つかもしれない、意外に悪戦苦闘した一部始終の記録は以下から。 ・2011年5月16日 GIGAZINEの3台存在するWebサーバのうち1台がが停止しているのを発見。画面上では「Kernel Panic」の文字が出て、動作不能状態に陥っていたため、強制的に再起動を行うことに。 コンソールに表示された「Kernel Pa
本当は怖いMemcached - Qiita
はじめに データアクセスの高速化、セッションの保持などに非常に重要なポジションを占めているMemcached 特徴をあげると、速い安い美味いで、AWS上のサービス化などされており、非常に扱いやすいプロダクトなのですが、Memcachedそのものが単一障害点とならないように冗長化を測った時に深刻な問題が発生する可能性があることをご存知でしょうか。 システムに心あたりがある方は今すぐ代替手段を検討しなければなりません。 どうしてもMemcachedを使いたいという方はこちらへ それでもMemcachedを使いたいあなたへ 前提条件 そもそも冗長化をしなければ問題ないという運用はその時点で怖いのでNG cache機構という性質上、データが飛ぶのは問題ない(”正”となるデータを他から読み出すだけ)が、誤ったデータが読み出されるのをNGとする Memcachedを利用した時に利用ノードを決定するのは
エンジニアなら知っておきたい障害報告&再発防止策の考え方 - Qiita
システムには障害がつきものです。どんなにしっかりと作られたサービスであっても思わぬところで、バグやミスが発覚して、トラブルになるものです。大事なのはこういった障害を次への糧にしていくこと。失敗というのは大事な資産なので、管理できるようにしましょうという話。 あわせて読みたい あきらめるにはまだ早い！ソースコードの品質向上に効果的なアプローチ メンタリングの方法について基礎をまとめました。内心でなく行動を変えることが障害報告とも共通します。 新入社員が来てメンターになれって言われたけど、どうすればいいのかという対話テクニック 半年で40kg痩せた！ダイエットでわかるリーンなプロジェクトマネジメント手法 心理的安全性ガイドライン（あるいは権威勾配に関する一考察） 障害の種類と障害報告について 障害には、小さなもの、たとえば画面に表示されているテキストの乱れから、すべての画面で50xエラーが発生
完璧な監視システムの作り方 in cybozu.com - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Hazama チームの萩原(@hagifoo)です。 ハードウェアは故障し、ソフトウェアにはバグがあり、運用ではミスがおきるもの。もちろん、障害が発生しないのが理想ですが人間が作ったものに完璧はありません。そこで、障害の前兆や発生を捉え、その詳細を運用チームに知らせるための監視システムが必要となります。cybozu.com でも以下のようにありとあらゆるものを監視するシステムを構築し日夜監視を行なっています。 今回は、そんな cybozu.com の監視(モニタリング)システムについてお話しします。 cybozu.com と障害 監視システムの設計 3つの監視 外形監視 症状監視・リソース監視 ログ監視 その他の監視 モニタリングフレームワーク 誰が監視者を監視するのか？ まとめ cybozu.com と障害 まずは、監視対象である cybzou.com について説明します。
第三者調査委員会による調査報告書の受領について | ファーストサーバ株式会社プレスリリース詳細
【デジサート登壇】Webビジネス最前線：Webサイトの安全と信頼を守る取り組み ～デジサートの... その他 2022年08月22日 【新タイプ】IDCFクラウドのハードウェア専用マシンにスペックを大幅強化した「7XL」登場 クラウド 2022年07月27日 【サイバートラスト登壇】最新ITセキュリティ動向と対策 その他 2022年07月05日 【45分で解説】先端AIプラットフォームの構築・活用術をエヌビディアとIDCフロンティアが徹底... その他 2022年06月29日 ユニアデックスウェビナー「オンプレそっくりさんなクラウドサービスで良いとこ取りをしませんか！！... その他 2022年06月29日 【無料ウェビナー】情報セキュリティの確認ポイント 身近に潜むリスクと、すぐにできる対策とは その他 2022年06月09日 【無料ウェビナー】XaaSビジネスにおけるクラウドインフラ構
富士通の旗艦、館林データセンターが電源障害でダウンし、金融機関やニフティクラウドに影響。日経コンピュータ誌
富士通の旗艦、館林データセンターが電源障害でダウンし、金融機関やニフティクラウドに影響。日経コンピュータ誌 先月、6月7日の午前6時頃、りそな銀行、ソニー銀行、東京スター銀行など複数の国内金融機関でシステム障害が発生しました。ほぼ同時刻に、ニフティのブログサービス「ココログ」や「ニフティクラウド」などにも大規模障害が発生しました。 金融機関の障害についてはこの日、ScanNetSecurityがいち早く報じています。 複数の銀行で同時間帯に障害が発生、現在は復旧（りそな銀行ほか） | ScanNetSecurity (事件、インシデント・情報漏えいのニュース) 同じ日、ニフティの障害については発表が行われています。 大規模障害の発生について ｜ニュースリリース｜ニフティ株式会社：ニフティとなら、きっとかなう。 ほぼ同時刻に発生したこれらの障害は共通の原因があると推測されますが、どこでどんな
ファーストサーバ障害、深刻化する大規模「データ消失」 ヤフー子会社、クラウド時代の盲点を露呈（ネット事件簿） - 日本経済新聞
クラウドに預けていたデータが、「雲」が消えるかのごとく消失してしまった。20日17時頃、レンタルサーバー会社のファーストサーバ（大阪市）で起きた「データ消失」事故。その深刻な状況が日を追うごとに明らかになってきている。被害にあった顧客件数は5698件で、ほとんどが復旧不可能な状態。ウェブサイトやメールに加え、顧客情報やスケジュールなど多種多様なデータが失われ、業務が止まった企業からは悲痛な叫びが聞こえてくる。いったい何が起きているのか。
ファーストサーバーがデータ初期化の大惨事！被害者の状況と損害賠償（約款）について調べてみた。 - すしぱくの楽しければいいのです。
公開日：2012年6月21日 カテゴリ：アレな話題 ホームページが障害で表示されないとか、アクセス過多で重たすぎる程度なら許容の範囲ですけども、サーバーのデータが初期化されましたという、Web屋としては笑えない、むしろ笑うしかない状況が発生しましたよ。 それも稼働率100％保証のファーストサーバーさんというのも驚きでございます。 今回サーバーデータ初期化事故に遭遇してしまった X_urara_X さんに状況を取材させていただきながら、損害の保証はされるのかどうか、規約（約款）を確認してみました。 【2012.6.25追記】 中間報告が掲載されたので記事を書きました。ファーストサーバーの事故原因がほぼ人災だった。その概要と今後についてまとめてみました。｜楽しければいいのです。 信頼のファーストサーバーがまさかの・・・ Web屋にとって顔面蒼白な事故（障害）がございましたねー。 ファーストサー
日々のIT危機管理レベルが問われるファーストサーバ障害復旧
ファーストサーバの大規模障害の件は、データ復旧が不可能という発表があったそうだ。 大規模障害のファーストサーバ、「データ復旧は不可能」 大規模障害の概要と原因について（中間報告）(ファーストサーバサイト) 復旧レベルにもよると思うが、Linuxの場合、HDDから削除復旧をさせた時に、ファイル管理情報がすでに一致しない状態になると、仮にファイル実体が復旧しても、ファイル名、フォルダ名がわからなくなって、それがいったい何のファイルかわからない。共用サーバの場合は誰のファイルかわからないので、事業者側も、うかつに渡すことができない、など言ったケースにもなることもありうるので、基本的に復旧は無理だろうなと思っていた。 今回は、専用サーバでも、ユーザー企業側のアクセス権限がないユーザーにもファイルが見えてしまうという指摘を受けたそうだが、一度消してしまったファイルである以上、それはある意味仕方のない
ファーストサーバの手順の問題点 - きしだのHatena
えらいことなってますが。 正規手順と今回の現象の説明などを含めた中間報告が出されています。 http://support.fsv.jp/info/nw20120625_01.html ここで、正規手順で、途中でオペレーションミスがあったときに復旧できない状態になってしまう可能性があることがわかります。 具体的には「原因3：メンテナンス仕様」のこの部分。 脆弱性対策のメンテナンスに関しては対象サーバー群とそのサーバー群のバックアップ領域に対して同時に更新プログラムを適用する この時点でこの更新プログラムに不具合があった場合には、リストアできなくなることになるわけです。そして今回はそれがおきたようです。 より安全な手順であれば、バックアップ側にパッチをあてている間は正常系がバックアップのバックアップということになるはず*1ですが、どこにもバックアップがない状態になってしまったわけです。 手順１
株式会社IDCフロンティア
IDCフロンティアのクラウドサービスが政府情報システムのためのセキュリティ評価制度（ISMAP... データセンター 2024年01月10日 【接続先追加】「バーチャルブリッジ」に主要IX事業者などの他事業者接続が追加 データセンター 2024年01月10日 令和6年能登半島地震の影響により、被災された地域のお客さまがご利用中のサービスについて支援措置を実施します。 サービス 2024年01月05日 新年のご挨拶 代表取締役社長 鈴木 勝久 その他 2024年01月04日 1月17日～19日に福岡で開催される「JANOG53 in Hakata」にブース出展します その他 2023年12月20日 ZDNET Japan Business＆IT ClassWork supported by ... その他 2023年12月15日 IDCフロンティア、「AIサービスのためのデジタルインフラ」を
ファーストサーバー障害によるユーザーの声・・・
icchan @icchan0000 @firstserver ホスティングサービスに不具合が出ているようですが、サポートのフリーダイヤルは混雑していて繋がりません。こういう時こそ公式アカウントで状況の報告などしていただきたいのですが・・・ 2012-06-20 18:03:07
株式会社IDCフロンティア
IDCフロンティアのクラウドサービスが政府情報システムのためのセキュリティ評価制度（ISMAP... データセンター 2024年01月10日 【接続先追加】「バーチャルブリッジ」に主要IX事業者などの他事業者接続が追加 データセンター 2024年01月10日 令和6年能登半島地震の影響により、被災された地域のお客さまがご利用中のサービスについて支援措置を実施します。 サービス 2024年01月05日 新年のご挨拶 代表取締役社長 鈴木 勝久 その他 2024年01月04日 1月17日～19日に福岡で開催される「JANOG53 in Hakata」にブース出展します その他 2023年12月20日 ZDNET Japan Business＆IT ClassWork supported by ... その他 2023年12月15日 IDCフロンティア、「AIサービスのためのデジタルインフラ」を
「さくらのクラウド」障害多発で無償化、課金できる品質に達していないため
「弊社としても、お客様が安心してご利用頂けない現状を痛切に感じており、一日も早く正常化を目指しておりますが、現在は課金をさせて頂ける状況ではないと判断致しました。つきましては3月1日に遡り、当面の間は「さくらのクラウド利用料」について無償化させて頂くことをご報告致します」ということで、なんと「さくらのクラウド」が無償化されてしまいました。 さくらのクラウドの現状報告および課金対応について | IaaS型パブリッククラウド「さくらのクラウド」 http://cloud.sakura.ad.jp/news/sakurainfo/newsentry.php?id=622 無償化せざるを得なくなってしまった経緯は以下のように説明されています。 既に掲載のとおり、データを格納するストレージのパフォーマンス低下により、 頻繁に負荷が増大する状況が続いております。 その為、改善を図ることを目的としたファ
サーバのディスクの話
sugipooh @sugipooh 日本にRAIDという言葉が無いころからストレージ障害の近くに居る。 すぐにデータが消えるMO、動いているときに「こつん」とたたくと古い データを消しても平気に動くHDD、それを守るためのRAIDのいい加減さ。 どうしてストレージ障害が起きるか？根本を知らない人が多すぎる。 sugipooh @sugipooh RAID5コントローラを市場で初めて多数売った今は無いMylexへ研修に 行かしてもらった。そのときRAID5でデータが無くなる条件を聞いた。 「簡単に飛ぶ（驚）」。その10年後 日本の会社がその簡単に飛ぶ条件で 多量にRAIDを売っている。おかげでデータ復旧会社が繁盛している。 sugipooh @sugipooh 「簡単にデータが飛ぶ」RAID5でビジネスを辞めたが、その頃から市場では ビジネスが拡がってゆく。正直なビジネスは儲からない。 対
年末年始のさくらクラウドのトラブルをまとめてみた(後日来たメールも記載済) – 機械忍者 @cyborg__ninja
機械忍者 @cyborg__ninja 主に「くだらないこと」「デジタル機器系」「すげぇと思ったもの」「Googleなどの検索エンジンもの」「マーケットやアンケート調査」「サッカー」「ゲーム」「ロードバイク（自転車）」などの情報をピックアップしています。たまにSEO、Ruby、CMSなどのナレッジログがあります。 まあやってくれましたわ。 年末年始にかけて、さくらクラウドさんのご対応含めて時系列含めて障害があったんだぜということを記録しておいてやろうということです。 (さくらクラウドさんは是非これで対応含めて改善いただけることを当然期待しての投稿です) なお、フォロー等のつもりではないですが、さくらのVPSサービスや専用サーバサービスで不満は一切ありません。価格帯の割には落ちないし良い＆(共用サービスは除きますが)SSH等も使わせてくれて便利で助かるわーと、いわゆる「高評価」でした。 それ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
弊社専用サーバーのサービスが一部利用できない状況について【更新】| 専用サーバー｜GMOクラウド サービスサポート
ファーストサーバーの事故についてちょっと具体的に想像してみました
ファーストサーバ、共有サーバーとVPSサービスで「データ復旧は不可能」