rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜
この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015年11月27日、入社27日目のこと。 gitの設定ミスにより壊れたブランチをmasterにforce pushしてしまい、CIが流れて本番環境が壊れた。原因はpush.defaultなのだが、詳しくはすでに記事を書いているのでそちらを読んでほしい。 2回目は翌年9月1日、入社してちょうど10ヶ月たった日のことだ。 またしても本番環境をぶっ飛ばした。しかも、前回より盛大に……。 タイトルにもあるようにrsyncコマンドが原因だ。 当記事では、この「rsy
さよなら本番サーバー - Qiita
とあるSESの現場では本番リリースの時期が近づいてきており、僕を含めた数人のエンジニアは間に合いそうもない残作業の開発を進めたり、本番で使うためのデータの整備を本番サーバー内で行ったりしていた。ほとんどがその案件のために集められたメンバーだったため特に和気あいあいとするでもなく、エアコンの風の音が響く小さなオフィスの片隅で静かに作業をしていた。 業務上のやりとりもRedmineで行われており、声を発するのもたまにメンバー同士で話をしたり、クライアントから電話がかかってきた時だけ。その日もメールで通知が届いてきており、確認してみるとRedmineで僕が関係しているチケットにコメントが届いているという通知だった。 通知のURLをクリックしてRedmineのチケットを確認してみる。 それによると一旦本番サーバー上に存在するデータの中の一部の主要データをCSV形式で送ってほしいという依頼だった。無
シス管探偵、サーバールーム内の謎ラズパイの設置者を突き止める | 秋元@サイボウズラボ・プログラマー・ブログ
テキサス州オースティンで企業のサーバー管理の仕事をしているクリスチャン・ハチェックさん(Christian Hascheck)が、彼の管理下で発生した興味深い事件について語っています。 サーバーに挿さった謎のデバイス 始まりは同僚から送られてきたという写真。「サーバに知らないラズパイがつながってる。調べてくれないか?」と。 普段リモートからサーバ管理しているハチェックさんは、同僚に指示してラズパイを切り離させ、SDカードに入っていたイメージを送らせました。 当初は社内の誰かの実験物かな、ぐらいに思っていたそうですが、サーバールームに入れるすべての人に訊いても知らないとの返事。USBソケットに刺さっていたドングルを巨大掲示板の reddit で晒したところ、WiFi/bluetooth モジュールだとわかります。 SDカードの中身を調べる Raspberry Pi のストレージであるSDカー
ゼロからはじめるMastodon | さくらのナレッジ
こんにちは、さくらインターネット クラウドチームの大喜多です。 Mastodonは、Twitterライクな投稿ができる分散型ソーシャルネットワークを実現するオープンソースソフトウェア(OSS)です。Twitterとの違いは、1カ所に全ユーザがいる中央集権型でなく、個人でインスタンス(Mastodonではサーバのことをこう呼びます)を立てて、他のインスタンスと緩く繋がれる分散型であるところです。さくらのクラウドのスタートアップスクリプトを使うことで、自分(あるいは仲間同士)のMastodonインスタンスを簡単に作ることができます。 そこで今回はさくらのクラウドを使って、本当に「ゼロから」Mastodonインスタンスを作ってみます。
実際に運用してみてわかった、大規模Mastodonインスタンスを運用するコツ - pixiv inside
おはようございます、ImageFlux開発責任者のharukasanです。3日前の4月14日、ピクシブではPawooが急にリリースされることになりまして、ここ数日はずっとPawooサーバにログインしていました。このPawooサーバ、既にピクシブの監視体制に入っており、アラート受信後インフラエンジニアが障害対応できる仕組みを整えています。案の定、リリース直後の15、16日は週末にもかかわらずアラートを受け取ることになり、サーバにはりつくことになったわけです。どんなシステムであろうとアラートを受け取ったら対応する、それが我らインフラエンジニアです。 pawoo.netの構成 さて、それではまずPawooの構成を見ていきましょう。digすればわかりますがpawoo.netはAWS上に構成されています。数百台以上の物理サーバを常時運用しているピクシブであっても、さすがにこんなにはやく物理サーバは用
AWS S3の長時間サービス停止の原因はエンジニアの入力ミス
米Amazon.com傘下のAWSは3月2日（米太平洋時間）、2月28日にクラウドストレージサービス「S3」の北バージニアリージョン（US-EAST-1）で起きた大規模なサービス停止の原因と対策を発表した。 28日午前11時20分ごろ発生したこの問題は復旧までに約4時間かかり、同サービスを利用するIFTTT、Quora、Medium、Imgur、GitHubなど、多数のサービスが影響を受けた。 原因は、エンジニアの入力ミスだった。 同日の午前9時37分、S3の課金システムのデバッグ中、S3のサブシステム用の少数のサーバの接続を解除しようとした際、コマンドの入力を誤り、意図したよりも多数のサーバを解除してしまった。その中の2つのサーバが、同リージョン内のすべてのS3オブジェクトのメタデータと位置情報を管理するインデックスサブシステムと、運営にとって重要な配置用サブシステムだったため問題が大き
ING銀行の基幹データセンター、消防訓練で消火ガス噴射の衝撃音が大量のハードディスクとサーバを破壊。ATMや決済サービスが停止に
ING銀行の基幹データセンター、消防訓練で消火ガス噴射の衝撃音が大量のハードディスクとサーバを破壊。ATMや決済サービスが停止に オランダに本社を置く大手金融機関INGの基幹データセンターで、消防訓練のため消火ガスの噴射をしたところ予想以上に大規模な衝撃音が発生。大量のハードディスクやサーバが故障したと報道されています。 Fire drill knocks ING bank's data centre offline - BBC News ING Bank pays back fees to clients affected by system crash in Romania A Loud Sound Just Shut Down a Bank's Data Center for 10 Hours | Motherboard これにより9月10日土曜日の朝から夜まで、同社のATMやカード
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
簡単なパスワードでRDPを空けておいたら、数時間でハッキングされマイニングツールを仕込まれた話【イニシャルB】