ファーストサーバ社の障害に関して - naoyaのはてなダイアリー
あまりまとめられないので箇条書きで。 「クラウド (IaaS)」と「レンタルサーバ」の区別 技術的には「クラウド (における IaaS)」と「レンタルサーバー」は明確に異なるものなので、そこは混同されないことをおすすめしたい 今回障害が起こったファーストサーバのサービスはレンタルサーバであって、クラウドサービスではないだろう クラウド = Amazon Web Services (AWS) や Heroku がその代表例だと思ってもらえばいい *1 具体的には、日経新聞の当該記事のこと → http://www.nikkei.com/article/DGXNASFK2600L_W2A620C1000000/ 意図は不明だが「クラウド」のような目新しいものと今回の事件とを結びつけて何かしらの印象を与えようとするのは、個人的には感心しない 業者が「クラウド」と謳っていたかどうかは知らない。例え
ファーストサーバの事故から考えること
つい先日、ファーストサーバというホスティング企業が多数の顧客の全データを喪失するという前代未聞の事故が起こりました。 twitterやfacebookでは技術者や弁護士など、様々な方々が色んな観点からの議論を始めています。 私としても、今回の事故から得られた教訓と、弊社でのデータ保全の取り組みについてお話ししたいと思います。 大規模障害の概要と原因について（中間報告） ファーストサーバ サポートWEB こちらに中間報告があがっていますが、オペレーションミスによりサーバの削除タスクをバックアップ環境を含めた全サーバに対して適応してしまったという前代未聞の事故です。 動的にサーバのプロビジョニング(構成管理)を行う場合には、バグやオペミスによりデータを誤って消してしまうということは考えられますので、その点では作業手順やプログラムの安全品質については厳重な管理が必要と考えられます。 本質的な原因
株式会社IDCフロンティア
IDCフロンティアのクラウドサービスが政府情報システムのためのセキュリティ評価制度（ISMAP... データセンター 2024年01月10日 【接続先追加】「バーチャルブリッジ」に主要IX事業者などの他事業者接続が追加 データセンター 2024年01月10日 令和6年能登半島地震の影響により、被災された地域のお客さまがご利用中のサービスについて支援措置を実施します。 サービス 2024年01月05日 新年のご挨拶 代表取締役社長 鈴木 勝久 その他 2024年01月04日 1月17日～19日に福岡で開催される「JANOG53 in Hakata」にブース出展します その他 2023年12月20日 ZDNET Japan Business＆IT ClassWork supported by ... その他 2023年12月15日 IDCフロンティア、「AIサービスのためのデジタルインフラ」を
サーバ管理者日誌 2010年06月24日
#Librahack[http://twitter.com/search?q=%23librahack] の議論。多く登場する「スクレイピング」と書こうと思ったけれども、クロールで得たHTMLの後処理がスクレイピングだから、ここでは「クロール」対「DoS」とした。 そもそも、クロールとDoSは行っている側の目的に決定的な違いがある。 クロールを行う際は、クロールによって相手サーバの情報を取得することが目的だ。そのために、リクエストに対する応答を受け取って、そのまま保存するなり、何らかの加工（スクレイピング）を行って、情報を保存する。 情報を得るのが目的だから、サーバが落ちるのは困る立場だ。 一般的な作りとしては、ページのリクエストを出して、結果を受け取ったら、その場で解釈して、次にリクエストを出すページを決めるか、あるいは予め予定している次のページのリクエストを出す。この間に待ち時間を入れ
サーバ管理者日誌 続・クロールとDoSの違いと業務妨害罪と
と書いたのだが、他の図書館でも、一度タイムアウトすると、同じCookieを持ってアクセスすると応答がなくなるという同様の現象が発生するところが見つかった。 気づいたのはたまたまだったのだが、 岡崎市立図書館と同じ、MELILを採用している図書館のリストが、 日本のソフト別OPACリスト[http://www.asahi-net.or.jp/~gb4k-ktr/indexjv.htm#melil] にあり、この中で検索ページが.aspになっているものでは同じ現象が発生する様で、発生条件もかなり緩く、 検索などでのタイムアウト発生 応答が遅かった場合のキャンセル 検索結果ページを閲覧していて、画面内の戻るボタン以外でページ遷移を行った場合 に、以降の応答がなくなるという症状が発生する様だ。 検索ページが.aspxになっているものでは、確認した範囲では発生を見ていないので、これは後に改修されたの
図書館クロール補足 - 最速転職研究会
なんか技術的におかしなことを言っている人がいたら追記していくかも知れません。 クロール頻度が妥当かどうかの話 ウェブサーバーはマルチスレッド、マルチプロセスなどで複数のリクエストを同時に処理できるようになっているのが一般的であるため「前回のリクエストが完了してから、次のリクエストを投げる」実装になっている限りは「サーバーの性能を100%使いきって他の利用者が利用できない状態」になることは、通常起きません。 例外的なケースもあります。 ウェブサーバーがリクエスト完了後に何らかの処理を行うような実装になっていて、リクエストのペースによっては処理が溜まっていって追いつかなくなる。 ロードバランサ、リバースプロキシを使ったフロントエンド/バックエンドの構成になっているサーバーで、フロントエンドがタイムアウトと判断して早々にエラーを返したが実際はバックエンドで処理が続いている。 例えば1秒で処理が終
サーバ管理者日誌 続・robots.txtに従わず、図書館ＨＰにアクセス３万３千回 業務妨害容疑で男逮捕 - 岡崎市立図書館蔵書検索システムの謎
容疑者とされた当人が、 Librahack[http://librahack.jp/] として、顛末を説明している。 想像通り、端的に言えば、図書館ページが提供するインターフェイスが使いにくいので、スクレイピングして、検索しやすいデータベースを用意しようとした。ということの様だ。 だとすると、 前の記事[http://www.nantoka.com/~kei/diary/?20100526S2] でも書いたけれども、こんなことで逮捕される様では、技術的な実験も研究も、全て、逮捕を覚悟して掛らなければならないということになる。結果、技術の進歩を著しく阻害する危険性がある。 こんなことが起これば、日本でGoogleの様な、あるいはGoogleを超えるサービスを開発しようとは思わなくなる。 実際、図書館の蔵書データベースを無償で提供している カーリル[http://calil.jp/] というサ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
自作サーバカンファレンス「はてなの自作サーバの実際」＋他セッション講演メモ - RX-7乗りの適当な日々
本日の自作サーバカンファレンス、申し込みして楽しみにしていたのですが、体調がよろしくなかったので泣く泣く不参加・・・にしようとしていたところ、なんと！Ust(USTREAM)配信されているようだったので、そっちで視聴しました。感謝！！ 1つ目のトークの"はてな"の自作サーバ事情の話、他各トークセッションのメモ書きを今後の自分のために残しておきます。 田中さん(id:stanaka)のオープニングセッション 自作サーバは安い早いうまい 必要十分な仕様 部品単位で調達・組立 独自のカスタマイズ(SSD使いたい、など) はてなでは1年くらいSSD使っている！ 安い Core2Quad + 8GB + SSD X25-M 80GB \100,000 + 5,000/month (1A) \160,000/year Amazon EC2と比べても、1年でもとが取れて、SSDも付いてくる 自作サーバの
Web上でシステムログの閲覧、監視·Clarity MOONGIFT
ClarityはRuby製のオープンソース・ソフトウェア。システムのログを見る際にはSSHを使ってサーバにログインして確認するというのが一般的だ。だが何台もあるサーバに個々にログインするのは面倒だ。社内のサーバであれば、セキュリティ的にも厳しい制限がないことも多い。 そこで使ってみたいのがWebブラウザベースで使えるログ監視ツールだ。Clarityはサーバ上で実行することでWebブラウザ上でログ閲覧を行える。監視したいログの種類も設定できるので、多数のサーバを管理する上で便利に使えるかも知れない。 モードは二つあり検索とTailになっている。検索は指定したログファイルから入力した検索ワードをチェックし、一覧で結果を表示する。Tailはまさに更新されるたびに表示が追加されるTailだ。自動スクロールを有効にすれば自動的にスクロールして表示が更新されるようになる。 背景は黒、文字は白でターミナ
Facebookのサーバーもすごいことになっている件（直近10ヶ月で20,000台のサーバーを追加。ログは毎日25TB。） - shibataismの日記
Googleに比べるととっても地味なPRしかしていないが、実はFacebookのエンジニアリングも結構すごい。CTOのJeff RothschildがUCSDで講演したビデオが見れるので今日がある方は是非見た方が良いと思います。 ビデオ http://cns.ucsd.edu/lecturearchive09.shtml#Roth http://video-jsoe.ucsd.edu/asx/JeffRothschildFacebook.asx 解説記事 http://www.datacenterknowledge.com/archives/2009/10/13/facebook-now-has-30000-servers/ ビデオを見たのが昨日なので、全部覚えていませんが、覚えていることだけでメモを書いておきます。全般的に、非常に素直な講演で、自分たちの良いところも悪いところも素直に言っ
サーバを計り売り--エクシード、リソースを増減できる仮想サーバサービス展開
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます システム構築・データセンターサービスの企画・運営などを展開するエクシードは9月16日、必要に応じてCPUやメモリ、ハードディスク（HDD）を利用できる仮想サーバホスティングサービス「Libra」（ライブラ）の提供受付を9月21日から開始することを発表した。サービスの開始は10月13日を予定している。 Libraは、ウェブ上で使いたいサーバのCPUやメモリ、HDDといったリソースを決めて調達、サーバの起動と停止、再起動ができ、途中でリソース量を変更することもできる。課金状況とサーバの稼働状況もウェブ上から確認できる。選択してから実際に使えるようになるまでに数分程度ですむという。 購入できるリソースの最小単位は、メモリ1GB、CPU0.4コ
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
万が一に備えてサイトの負荷テストを行ってくれる『Load Impact』 | 100SHIKI
万が一に備えてサイトの負荷テストを行ってくれる『Load Impact』 March 10th, 2009 Posted in その他 Write comment こういうツールはすでにあるのだろうが、わかりやすいインターフェースが良かったのでご紹介。 Load Impactはサイトの負荷テストを行ってくれるツールだ。規模によっては有料であるが、お試しサービスもあるので覗いてみるといいだろう。 ウェブでビジネスを行っているサイトにとって、負荷対策は言うまでもなく重要だ。サイトが1時間落ちただけで売上げがガクンと減ってしまうこともあるだろう。 そうした事態に備えるためにも、今のサイトがどこまでの負荷に耐えうるのかを調べ、十分な対策を練っておくべきだろう。 もちろんテスト後には詳細なレポートを見ることができる。ちゃんと見方も教えてくれるので勉強になる。 現在そこまで負荷対策が重要ではなくても、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer