タグ

バックアップとデータに関するlatteruのブックマーク (13)

  • Google Cloud、豪年金基金のアカウントを誤削除 予備も誤削除 他社でのバックアップでなんとか復旧

    Google Cloudが、顧客のアカウントを誤って削除し、大規模障害の引き金になる──こんな出来事が海外で起きた。オーストラリアで年金基金を運営するUniSuperは5月8日(現地時間)、自社サービスで起きていた障害について、プライベートクラウドのアカウントが誤って削除されたことが原因だったと発表した。 UniSuperはGoogle Cloudを活用していたが、米Google自身が誤ってアカウントを削除。UniSuperは冗長性を確保するため、別のリージョンにもデータを置いていたが、そちらも無効にされていたという。 アカウントが削除された経緯については「(Google Cloudが)UniSuperのプライベート・クラウド・サービスをプロビジョニングする際の不用意な構成ミスにより生じた」(UniSuper)と説明している。しかし、UniSuperは他社のサービスでもバックアップを確保し

    Google Cloud、豪年金基金のアカウントを誤削除 予備も誤削除 他社でのバックアップでなんとか復旧
  • 新潟県データ10万件消失事故 拡張子を小文字にしたかったのはなぜか 県に聞いた

    新潟県で4月9日、公文書管理システムに登録した公文書データ約10万件が消失する事故が発生した。県によると、システム保守を担当していた事業者が、ファイルの拡張子を小文字にする新機能を追加したことが事故の一因という。なぜこのような機能を追加することになったのか県に聞いた。 県は富士電機ITソリューション(東京都千代田区)が開発・保守を担う公文書管理システムを使用している。同システムには不要なファイルを削除するプログラムがあるが、新機能の適用で拡張子を変更されたファイルが同プログラムの削除基準に合致してしまい、10万3389件のデータが意図せず消失したという。 消失の影響は現在調査中だが、県によると消失したファイルはすでに処理が完了したものであり、直ちに県民や関連業者に大きな影響が出るものではないとしている。 なぜ拡張子を小文字にしたかったのか では、なぜ拡張子を小文字にしたかったのか。 県では

    新潟県データ10万件消失事故 拡張子を小文字にしたかったのはなぜか 県に聞いた
  • onedriveが原因でデスクトップのデータが消えた

    いや、お前データを守る側ちゃうんか。 なんでお前に大事なデータ消されなきゃならんのよ。 調べてみたらひどいクソ仕様だったので、同じ轍ふまないように知見共有します。 なお、消えてしまったデータは息子の卒業式の動画データ。復元不能。 ダメージでかすぎで立ち直れないかもしれない。 リテラシーの話にしたくないので、一応くわしい状況を説明。 興味ない人は読み飛ばしOK ストレージは壊れるものという前提は理解しているつもりなので、状況ごとにいくつかのバックアップ体制は取ってある。 なのでデスクトップは基的に一時的なデータしか置かない。 そのため、今回の被害は当に息子の卒業式の動画データだけ。 安くなったとは言えすべてのストレージをSSD化するには至っていない。 そのため、OSやソフトウェアなんかはSSDにインストール、写真や動画などのサイズがでかいデータはRaid HDDでミラーリングして格納する

    onedriveが原因でデスクトップのデータが消えた
  • バッチ処理 プラクティス

    バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身の断片的な思考整理(メモ書き)の延長で内容を整理したため、一部書き振りが統一されておらず、読みにくいかもしれません。ご了承ください。🙏 バッチ処理の難しさバッチ処理は難しい。 人によっては簡単なテーマかもしれませんが、自分は難しいテーマだと思っています。 「難しさの根源は何か?」を考えると、1. 考慮点が多様にあること 2. 解決する課題によって答えが大きく変わること に整理できました。 この2点は、どのソフトウェア開発にも当てはまる項目ではありますが、ことバッチ処理においては顕著に現れます。

    バッチ処理 プラクティス
  • ある「パソコンの大先生」の死

    ある「パソコンの大先生」の死 2022.07.28 Updated by yomoyomo on July 28, 2022, 20:35 pm JST 「これはなんだね?」 「南京錠です」と彼女は答えた。 「なんだって!」彼は激昂してそう叫ぶと、分かりきったことを訊ねた。「で、鍵はどこにあるんだ?」 (ガブリエル・ガルシア=マルケス「愛の彼方の変わることなき死」) 6月のはじめに公開された前回から時間が空いてしまいました。前回の文章のテーマはWeb3でしたが、少し前にはそのWeb3を書名に掲げる書籍の内容が酷いと話題になり、ついには回収という事態となってしまいました。 が、今回のワタシの文章は、Web3やらメタバースやら、いまどきな話題とまったく関係のない、もっとスケールの小さい、個人的な、早い話がとてもしょぼい話題になります。一種の恥さらしとすら言って良いでしょう。 話は今月半ば、自室

    ある「パソコンの大先生」の死
  • こんなSSDはデータが消える? 不穏な兆候が表れたら今すぐバックアップを(BCN) - Yahoo!ニュース

    SSDが飛んでしまった。ノートPCに増設して使っていた500GBのNVMe対応M.2 SSDだ。幸いにして200GB程度しか使っていなかったが、それでも膨大なデータが消えてしまったのは痛い。実は前兆があった。怪しいと思った時にすぐバックアップを取っていれば最悪の事態を避けられた、と思うと悔やまれる。どんなディスクであれ、いつかは壊れる。そこで、データが取り出せなくなった経緯をまとめた。同様の状況に遭遇した場合の参考になれば幸いだ。 トラブルは立て続けに起こる。キーボードが壊れて修理に出したノートPC。無事修理完了したかと思いきや、今度は増設していたSSDのデータが飛んでしまった。どうやらSSDの物理的な破損のようだ。特にショックを与えたり、高温の場所に放置するなどしたわけでもなく、普通に使っていただけだが、ある日、全くアクセスできなくなってしまった。 PCは昨年5月に購入した14インチのノ

    こんなSSDはデータが消える? 不穏な兆候が表れたら今すぐバックアップを(BCN) - Yahoo!ニュース
  • 自社のDB破壊しCEOに身代金要求、freeeが本当にやったクラウド障害訓練の舞台裏 「従業員はトラウマに」

    自社のクラウド環境に侵入され、データベースから経営に欠かせないデータを持ち出される。バックアップも消され、データを取り戻したければ、身代金を支払うよう要求される──企業にとって絶対に直面したくない事態の一つだ。しかしこのシチュエーションをあえて再現し、訓練という形で自社のCEOに身代金まで要求した企業がある。クラウド会計サービスを提供するfreeeだ。 freeeは2021年10月、標的型攻撃とランサムウェアを組み合わせたシナリオを基に全社的な訓練を実施。AWS上のDBからデータを盗み出し、バックアップを消した上で、自社のCEOに社内SNSを通して身代金を要求したという。訓練を主導したのは、製品やサービスのセキュリティ向上を目指す社内組織「PSIRT」だ。 訓練を実施した背景には、情報システム部などのIT部門だけでなく、経営層まで巻き込みたい考えがあったという。同社のPSIRTが取り組んだ

    自社のDB破壊しCEOに身代金要求、freeeが本当にやったクラウド障害訓練の舞台裏 「従業員はトラウマに」
  • みんなバックアップってどうしてるの?

    会社のデータね。 現状なんもバックアップ取ってなくて、いつ飛ぶかすごい不安。 まわりに相談しても、飛んだら飛んだで仕方ないって感じ。 バックアップしなくていいっていうのは、内容以前に、お前の仕事に残す価値はないっていわれてる気がするから、こんなにナイーブになってるのかもしれない。

    みんなバックアップってどうしてるの?
  • 本番環境のローカルデータを全部吹き飛ばしました

    インスタンスのひとつ「S512」には、サービスの中でも特に重要な部内SNS「traQ」と部員管理システム「traPortal」、認証基盤「pipeline」がデプロイされています。 ArchLinuxくん... SysAd班では、これらVPSのOSにArchLinuxを採用しており、当時のカーネルバージョンは5.12.3-arch1-1でした(たぶん)。 ArchLinuxはUbuntuやCentOSと異なり、SimplicityやModernityの思想からパッケージのRolling releaseを採用しています。 Simplicity 不必要な追加や修正がないこと オリジナルの開発者(アップストリーム)によってリリースされたソフトウェアを、ディストリビューション(ダウンストリーム)特有の変更を最小限に抑えた状態で出荷する ディストリビューションのQAは最小限で、アップストリームによる

    本番環境のローカルデータを全部吹き飛ばしました
  • 日本の製粉大手に「前例ない」大規模攻撃 大量データ暗号化 起動不能、バックアップもダメで「復旧困難」

    「システムの起動そのものが不可能で、データ復旧の手段はない」――製粉大手のニップン(東証一部上場)は8月16日、7月7日に受けたサイバー攻撃の詳細と影響を明らかにした。 グループ会社を含むサーバの大半が同時攻撃を受け、バックアップを含む大量のデータが暗号化されて復旧不能に。外部専門家に「前例のない規模」と報告を受けたという。 財務システムも被害を受け、早期の復旧が困難なため、8月5日に発表予定だった2021年4~6月期の決算は、約3カ月延期。8月16日が提出期限だった四半期報告書の提出も、11月15日に延期する。 サイバー攻撃を受けたのは7月7日未明。グループの情報ネットワークのサーバや端末が同時多発的な攻撃を受け、大量のファイルが暗号化された。 ニップン単体の財務・販売管理データを保管しているファイルサーバに加え、グループ企業で同じ販売管理システムを使っていた11社と、同じ財務会計システ

    日本の製粉大手に「前例ない」大規模攻撃 大量データ暗号化 起動不能、バックアップもダメで「復旧困難」
  • GTIDを有効にしているのにレプリケーションのポジションがズレる場合

    TL;DR まず間違いなく mysql.gtid_executed が悪さをしている 去年隣にいた人 も 6月まで隣にいた人 も 今2つ隣にいる人 もハマった ルーク、 CHANGE MASTER TO する前に RESET MASTER を忘れるな。 RESET SLAVE ALL だけじゃダメだ、 RESET MASTER もだ。そしてSET GLOBAL gtid_purged = '..' しろ GTIDを有効にしてレプリケーションを組んでいる( MASTER_AUTO_POSITION=1 )場合、実行済みのトランザクションのGTIDは gtid_executed に記録される。 そしてI/Oスレッドは 自分のgtid_executedに含まれていない イベントがあれば寄越せ、というように接続時にマスターに要求するし、仮に自分のgtid_executedに含まれているイベントが寄

  • サーバーが完膚なきまでに死んでもMySQLのデータを失わないための表技

    2017/9/7 db tech showcase Tokyo 2017(JPOUG in 15 minutes)にて発表した内容です。 SQL大量発行に伴う処理遅延は、ミッションクリティカルシステムでありがちな性能問題のひとつです。 SQLをまとめて発行したり、処理の多重度を上げることができれば高速化可能です。ですが・・・ AP設計に起因する性能問題のため、開発工程の終盤においては対処が難しいことが多々あります。 そのような状況において、どのような改善手段があるのか、Oracleを例に解説します。

    サーバーが完膚なきまでに死んでもMySQLのデータを失わないための表技
  • ストレージ不足問題

    写真とか動画とかの保存って、みんなどうやってるの?結構なデータ量になるんだけど。 PC:壊れたらデータ消失かと思うとバックアップは取っておきたいところ。DVD:やくのめんどい。4.7GBだとすぐにいっぱいになっちゃう。外付けHDD:これも壊れないとは限らない。半永久的な保存先が欲しい。GoogleDirve:容量少ない。容量買うまでふんぎれない。ぐぐふぉとの無制限は動画対象外だし。DropBox:同じ。Amazonプライム:写真を人質に取られそうでなんかヤダ。 <追記> たくさんのコメントありがとう。 「半永久的な〜」というのは言葉のチョイスを誤りました。そんなもんあったらとっくに売れてるよね。ぐぐふぉとの動画対象外ってのも誤解だったようです。こどものチンチンで垢BANの可能性もあるのだなあ。NASという声が多い…が、クラウド容量買った方がいいという意見にも一理。やっぱそういうものかー。

    ストレージ不足問題
  • 1