【Ubuntu日和】 【第61回】実録！SSDにバッドセクターが発生！Ubuntuを使ってデータを救出した様子
GoとGCSで100GBの巨大zipファイルを展開する | Re:Earth Engineering
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
オブジェクトストレージにおけるファイルアップロードセキュリティ - クラウド時代に"悪意のあるデータの書き込み"を再考する - Flatt Security Blog
はじめに セキュリティエンジニアの齋藤ことazaraです。今回は、オブジェクトストレージに対する書き込みに関連するセキュリティリスクの理解と対策についてお話しします。 本ブログは、2024年3月30日に開催された BSides Tokyo で登壇した際の発表について、まとめたものです。 また、ブログ資料化にあたりオブジェクトストレージを主題とした内容の再編と、登壇時に口頭で補足した内容の追記、必要に応じた補足を行なっています。 なぜ今、この問題を取り上げるのか？ 近年のクラウドリフト、クラウドシフトにより、クラウドを活用する場面が多くなってきていると思います。その中で、多くの場面で利用されるオブジェクトストレージにおいて、データの書き込み時に気にすべきセキュリティリスクが存在するのをご存知でしょうか？ 近年、オブジェクトストレージの不適切な利用に起因する情報漏洩が多く発生しています。そのよ
ストレージとコンフィグでデータベースのグリッチを探す - Software Transactional Memo
AIに描いてもらったストレージで作ったレース会場 はじめに この記事はデータベース・システム系 Advent Calendar 2023の一日目の投稿である。今年読んだ論文（今年書かれた論文とは限らない）の中で驚きや納得があって良かったなぁと思った論文をいくつか紹介していきたいと思う。 論文の本文そのものは機械翻訳なりチャットAIなりに叩き込めば誰でも内容の抽出はできるので、こちらのブログ内では何故これが良いと思ったかについて僕の主観に基づいて書いていく。僕の解釈が厳密に正しいことは一切保障しないし、気になって読んでみたら全然内容違うやんけ！と驚くところまでがセットくらいの気軽なつもりで読んで欲しい。 最初に紹介する論文は「When Database Meets New Storage Devices: Understanding and Exposing Performance Mism
一般のご家庭に1PB(1000TB)のHDD | IIJ Engineers Blog
九州支社技術部(九州・中四国事業部)所属。自作パソコン好きで、ハードウェア選定の仕事を与えると喜ぶ。最近は何でもコンテナにしたい教に入信し、コンテナ化の機会を虎視眈々と狙っている。 【IIJ 2023 TECHアドベントカレンダー 12/11の記事です】 こんにちは、九州支社技術部(九州・中四国事業部)所属のy-morimotoです。 ふとしたことから、自宅に大容量の記憶媒体が欲しくなる時があるかと思います。 最近では、単体で22TBなHDDや、30.72TBなSSDなど、ラックマウントサーバ的な物を使わなくても、大容量が準備しやすい時代になりました。 ただ、1PB(1000TB)を目指した際に、意外とつまずきポイントがあったので、今回ご紹介させて頂きます。 今後、ご自宅に1PB(1000TB)を置かれる際の参考になれば幸いです。 １．USB接続の限界 簡単にHDDを接続する方法、まず思い
オンラインストレージの脆弱性対策について | 情報セキュリティ | IPA 独立行政法人 情報処理推進機構
概要 IPA発信のネットワーク貫通型攻撃に関する注意喚起 脚注1 の中でも触れている通り、インターネットに接続されたオンラインストレージの脆弱性を悪用した攻撃が継続しております。特に、国家を背景としたAPT攻撃などに関わる事案も確認されており、組織間のデータ授受をメール以外で行うことも多い昨今では、特に注意が必要です。 重要な脆弱性情報についてはIPAでも継続的に注意喚起を行っておりますが、オンラインストレージが広く利活用されるなか、未だ適切な対応がなされていない運用組織が多く存在していることを懸念しています。 最近の動向 「Proself」については管理者権限での認証バイパス（CVE-2023-39415）およびOSコマンドインジェクション（CVE-2023-39416）の脆弱性が確認されていますが 脚注2 、これら脆弱性を悪用する攻撃も既に確認されています。また、XML外部実体参照（X
「基礎からの新しいストレージ入門」は、2023年夏の課題図書
夏も終わりに近づいた時期ですが、エンジニア必読のストレージ入門が発売されました[1]。 基礎からの新しいストレージ入門 基本技術から設計・運用管理の実践まで こちらはゼットラボやSNIAで最新ストレージの情報発信をして下さっている坂下さんの待望の新刊技術書です。 クラウド時代にも陳腐化しないストレージ技術について、基礎からわかりやすく説明してくれています。 （私が考える）対象となる読者 アプリケーション開発をしている方からストレージ以外のインフラエンジニアまで、「ストレージなんもわからん」と感じている人々に、ぜひおすすめしたい入門書です。 特にクラウドからシステム開発に入って、 EBSとかEFSとか雰囲気で使ってる とりあえずS3、他は難しくて分からない ファイルストレージ？ファイルシステム？マウント？なんのこと？？ という方は、最初から最後まで本書を通して読んでもらえれば、会社に1人は居
データが消える、ドライブが認識しなくなる不具合。SanDiskやWDのポータブルSSDで発生。Extreme Pro、My Passportなど | ニッチなPCゲーマーの環境構築Z
SanDiskやWestern DigitalのポータブルSSDにおいて、保存したデータが消える、ドライブが認識しなくなるという不具合が発生しています。 不具合の影響を受けるとされるポータブルSSDは以下。 SanDisk Extreme Portable 4TB (SDSSDE61-4T00)SanDisk Extreme Pro Portable 4TB (SDSSDE81-4T00)SanDisk Extreme Pro Portable 2TB (SDSSDE81-2T00)SanDisk Extreme Pro Portable 1TB (SDSSDE81-1T00)Western Digital My Passport 4TB (WDBAGF0040BGY)これらのSSDを使用して長時間の書き込みを行うと、SSD上のファイルがすべて消えて、ドライブが読み取れなくなる場合がありま
「傷のついたHDDの復旧」など業界トップクラスの実績を持つデータ復旧のベテランエンジニアにデータ復旧の裏側や業者の選び方を聞いてみた
HDDやPC、スマートフォン、NASなどの端末において恐ろしいのは、突然データにアクセスできなくなることです。大事なデータを失ったら慌てたり、落ち込んでしまうもの。そんなときに助けになるのが「データ復旧サービス」ですが、普段使いするサービスではないので、国内に100社以上あるという業者の中でどこに頼めばいいのか、判断するのも難しいところです。 そこで、復旧率95.2％という驚異の復旧技術力を持ち、14年連続データ復旧国内売上No.1のデータ復旧サービス「デジタルデータリカバリー」のベテランエンジニアに、具体的にどういった事例を扱ってきたのか、そしていざデータ復旧を依頼するにあたってはどういった点に注目して業者を選べばいいのかといった話を直接聞いてみました。 データ復旧.com【デジタルデータリカバリー】｜復旧率95.2％のデータ復旧・復元サービス https://www.ino-inc.c
Cache Storage がめちゃくちゃ肥大化する問題について調べる | ぴんくいろにっき
Cache Storageがめちゃくちゃ肥大化する問題 TBSのニュースサイト、TBS NEWS DIGがめちゃくちゃブラウザのストレージを消費しているという話がはてブや増田で話題になっています。 TBSのニュースサイトヤバない？ – はてな匿名ダイアリー 同・はてなブックマーク 確かに、手元でも同様の状況を観測できる。 当該サイトのストレージ使用状況 はたして、これは真実なのだろうか。本当に1.4GBも食うことがあるのだろうか…… そんなわけない、ということで調査 まずは再現性を確認するためにChromeのゲストモードで当該のサイトのDevtoolを開いてましょう。すると、StorageのUsageは386MBになっていました。（適当なページを開き、リロードした時点で340MB程度であった） 当該サイトのストレージ割合 上記のスクリーンショットをよく見ていただけるとわかると思いますが、こ
年始は要注意！サーバーやHDDレコーダーの重度障害を復旧しまくるデータ復旧のプロによくある障害や業者の選び方について聞いてみた
年末年始の長期休暇に合わせて普段実行しない大規模なデータ移行を行ったり、久しぶりにサーバーの電源を落としたりすると、ストレージに不具合が発生してデータが失われてしまうことがあります。95.2％という業界屈指の復旧成功率と累計36万件の相談実績を持つデータ復旧のスペシャリスト集団「デジタルデータリカバリー」では、構成不明なサーバーを完全に元通りに復旧したり、泥まみれになったHDDレコーダーからデータを無事に取り出したりと、他の復旧業者では断られてしまうような高難度ケースでもデータを復旧してくれるとのこと。そんなデジタルデータリカバリーの中の人と話す機会を得られたので、データ復旧業者の選び方や高難度ケースの復旧事例について詳しく聞いてみました。 データ復旧.com【デジタルデータリカバリー】｜復旧率95.2％のデータ復旧・復元サービス https://www.ino-inc.com/ 今回は、
あの日買ったSSDが早死にした理由を僕達はまだ知らない😇 - Qiita
どうやら1TB相当のSSDは240TBまでの書き込みが保証されているようです。 「基本PCは落とさずにスリープ状態にしてるし、毎日多くても数百KBのコードしか書かないし、240TB/500KB = 131万年。 無限に使えるな」と思ったあなた、実はSSDには書き込もうと思った以上の書き込みが発生しているんです。 実際はOS起動時の読み込みがGB単位であるのでもっと使われてます。 とは言えより多く、一日5GBの書き込みを想定しても130年持つので、コードを書くだけならそこまで気にする必要はないかもしれませんが... ブラウザの設定で動画のcacheをしていたり、大量の画像を保存して編集して、とやっていると瞬く間に寿命がやってきます。 SSD めっちゃ書き込まれる問題 「諸々の理由」により、SSDへの書き込みはOSが書き込もうと思った以上の書き込み量へと増幅されます。この現象をWrite Am
Google Cloud、動的にブロックストレージのIOPSとスループット性能をそれぞれ設定できる「Hyperdisk」など発表
Google Cloud、動的にブロックストレージのIOPSとスループット性能をそれぞれ設定できる「Hyperdisk」など発表 Google Cloudは9月9日に開催したオンラインイベント「A Spotlight on Storage」で、エンタープライズ向けに4種類のストレージサービスを発表しました。 Google Cloud Hyperdisk Google Cloud Hyperdiskは、動的に性能を変更可能なブロックストレージです。IOPSとスループットをそれぞれ独立して動的に設定変更できるため、アプリケーションを運用していくなかでストレージ性能への要求が変化した場合でも、変化に合わせたIOPSやスループットを設定できます。 Autoclass AutoclassはオブジェクトストレージであるGoogle Storageの新機能です。オブジェクトへの最終アクセス時期やポリシー
Windowsの効率的すぎる機能｜ストレージ管理を自動化する方法 | ライフハッカー・ジャパン
パソコンのストレージがしょっちゅう足りなくなって困っている人は、そろそろ重い腰を上げて、対策に乗り出してみてはいかがでしょうか。 パソコンについつい不要なデータをため込んでしまう人は少なくありません。有料ストレージの追加を考えている人もいるかもしれませんが、これを機に、不要なものが無料でクリーンアップされるよう、パソコンで設定しておくことも考えてみましょう。 Windowsパソコンのビルトイン機能でジャンクを削除しようScreenshot: Pranay ParabWindowsパソコンには、不要なファイルを取り除いてくれる「ストレージセンサー」機能が内蔵されています。 ストレージセンサーを一定のスケジュールで実行するように構成するのは簡単です。または、ストレージスペースが足りなくなってきたら、自動に実行されるようにすることもできます。 設定さえしておけば、ごみ箱に入っている古いファイルや
HDD を消去しかけて復元させた話 | IIJ Engineers Blog
IIJ ネットワーク本部アプリケーションサービス部・(兼)社長室所属。 メールサービスの運用業務に従事し、日々世界の悪と戦う一児の父親。社内 Power Automate エバンジェリスト(自称)。M3AAWG member / openSUSE Users / WIDE Project メンバー。趣味は大喜利。はがき職人。 【IIJ 2021 TECHアドベントカレンダー 12/3（金）の記事です】 ことの顛末 週末に古い HDD を捨てようと思ってデータ消去のため shred していた。 消去対象の /dev/sdc を指定するところ、うっかり引数の history にあった /dev/sda を消去対象に指定してしまった。 すぐに [Ctrl] + [C] した。 まず落ち着く 先頭のデータは消えてしまったが、後半のデータは残っている。 RAID を組んでいるし、重要な /home
ハードディスクに障害が発生する可能性を機械学習で予測する研究
ハードディスクドライブ(HDD)は安価に大容量のストレージを用意でき、長期保存に適しているというメリットがありますが、衝撃や熱に弱いというデメリットがあり、精密部品も多く使われているため、物理障害も十分起こり得ます。オンラインストレージサービスを提供するBackblazeが、ハードディスクの状態から機械学習で将来的に障害が起こりうる可能性を予測する技術の研究論文を解説しています。 Interpretable predictive maintenance for hard drives - ScienceDirect https://www.sciencedirect.com/science/article/pii/S2666827021000219 Using Machine Learning to Predict Hard Drive Failures https://www.backb
DenoのWeb Storage APIサポートとその将来について
はじめに Denoはv1.10からWeb Storage APIをサポートしています。 この記事ではDenoにおけるWeb Storage APIのサポートについて解説します。 前提 この記事はDeno v1.14を想定して記述されています。 基本的な使い方 localStorage まず、localStorageの使い方について解説します。 localStorage.setItem("foo", "bar"); console.assert(localStorage.getItem("foo") === "bar"); console.assert(localStorage.length === 1); localStorage.clear(); console.assert(localStorage.length === 0);
旧ストレージ廃止大作戦−2900万超のファイルリストを取得する | PR TIMES 開発者ブログ
株式会社PR TIMES 執行役員CTOの@catatsuyこと金子です。今回は先日私が作ったGo製のCLIを社内で利用した話を紹介します。 旧ストレージサーバー廃止失敗 現在のPR TIMESの主要なシステムはデータセンター上にあり、ストレージサーバーはアプライアンスのシステムを使用し、アプリケーションサーバーからはNFSでマウントされています。 PR TIMESは日々様々なプレスリリースが配信されており、当然それに伴い画像などのストレージに保存されるファイルが日々増えています。そのためいつかストレージサーバーのディスク容量が枯渇してしまいます。ディスク容量が枯渇すれば当然新しいストレージサーバーへの移行が必要です。 弊社も先日旧ストレージサーバーの容量が枯渇してしまい、新ストレージサーバーに移行する必要がありました。しかしここで問題が発覚します。それは 1つのディレクトリにものすごい量
無限ストレージ
以下イベントの発表資料です https://kernelvm.connpass.com/event/209105/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2022年コンテナ/Kubernetes向けストレージ技術の最新動向
