クラウドストレージサービスを提供するBackblazeが、自社のデータセンターで使用している20万台以上ものHDDの故障率をまとめたデータの2021年版を公開しました。 Backblaze Drive Stats for 2021 https://www.backblaze.com/blog/backblaze-drive-stats-for-2021/ Backblazeは2021年だけで4万460台もの新たなHDDを追加し、2021年12月31日の時点で合計20万6928台ものHDDを管理していたとのこと。このうち、ブートドライブとして使用されていたものやテスト用に使用されたものを除いた、合計20万2759台のデータドライブに焦点を当てて、BackblazeはHDDの故障率を算出しました。 2021年1月1日～2021年12月31日のHDD故障率をモデル別で示したものがこれ。運用してい
Preserving open source software for future generations The world is powered by open source software. It is a hidden cornerstone of modern civilization, and the shared heritage of all humanity. Our Approach As today’s vital code becomes yesterday’s historical curiosity, it may be abandoned, forgotten, or lost. Worse, albeit much less likely, in the case of global catastrophe, we could lose everythi
DropboxがコアサービスをRustで書き換えた背景とは
ファイルシェアサービスのDropboxが主要なコンポーネントをPythonからRustに書き換えた。その背景を探る。合わせて、Rustの普及についても紹介する。 ファイルシェアサービス（クラウドストレージ）のDropboxが、コアとなるサービスの一つをPythonからRustで書き直したことをブログで公開した。これはクライアントとサーバー間でファイルを同期させる重要なコンポーネントである「Sync Engine」と呼ばれるソフトウェアを、PythonからRustに変えた背景を解説したものだ。 参考：Rewriting the heart of our sync engine Rustは、Mozilla Foundationが開発をリードしているメモリーセーフなコードの生成を目指したオープンソースの低レベルプログラミング言語だ。ここで言う「低レベル」とは、アセンブラーやC言語と同様に抽象度が
50TBの記憶容量を誇る磁気テープが開発される！ - ナゾロジー
昔は誰もが、音楽を聴く「カセットテープ」、テレビを録画する「ビデオテープ」を使っていましたが、現在では中古品を見つけることさえ苦労します。 一世を風靡したこれら磁気テープは、「もう古い」のでしょうか。 実はそうではありません。最新技術を用いた磁気テープは、情報で溢れる現代社会における大量データの保存媒体として再び注目されています。 そして最近、アメリカのテクノロジー関連企業「IBM」と日本の精密化学メーカー「富士フイルム」が、50TB（未圧縮時）のデータ保存が可能な磁気テープを開発しました。 これは世界最大の記憶容量を実現したテープ・ストレージ・システムとなります。 詳細は、2023年8月30日付の富士フイルムの『ニュースリリース』にて発表されました。 Fujifilm and IBM Develop 50TB Native Tape Storage System, Featuring W
データベースリライアビリティエンジニアリング
テクノロジーの進化に合わせて、データベースもまた進化しています。従来のパフォーマンス、スケーラビリティが重要なことはもちろん、今日ではセキュリティ、インフラのコード化、CI/CD、クラウド活用といったタスクにも取り組んでいかなければなりません。 データベースの本質は、長期的に安定していること。つまりリライアビリティ（信頼性）です。時代とともにアーキテクチャやツールが変わってもこの原則は変わりません。本書はデータベースのリライアビリティを実現するための考え方を「データベースリライアビリティエンジニアリング」と定義して、その具体的な手法を紹介します。 はじめにDBREの基本概念を解説し、サービスレベルの定義と測定、リスク評価と管理、オペレーションの可視化に進みます。そして、データベースを取り巻くインフラストラクチャの構成管理と自動化、バックアップとリカバリ、リリースマネジメント、セキュリティ、
配信基盤を支えるオンプレ技術 - DMM inside
｜DMM inside
※本ブログは2022/2に執筆されています。そのため、アップデートによって内容が現在と異なる可能性があります。 はじめに モバイル事業本部プロダクトエンジニアリングセクション マネージャーの安田です。 インフラっぽいことやクラウドっぽいことやデータエンジニアっぽいことをやってます。 今回、モバイル事業部で使うS3のコスト削減のため、ストレージクラスの移行等を行うライフサイクルの設定を行いましたのでご紹介します。 これからS3の管理を行っていく方、コスト削減に興味のある方の参考になれば幸いです。 実施の背景 モバイル事業本部ではドワンゴジェイピーやアニメロミックスなど音楽配信ビジネスを中心に展開しており、様々なレーベルからお預かりした楽曲データを管理しています。 また、ニコニコ事業本部ができる前からサービスを行っており、多大な量のシステムログやクラウドサービスのログデータなどが存在しています
フロッピーディスクに保存された情報をどうやって長期的に保存するのか。ゲーム保存協会が設立当初から追い続けてきた課題に、いよいよ決定打となる答えが出されました。 ゲーム保存協会はゲーム資料の劣化と戦い続けています。特に日本のゲーム史を支えてきた80年代PCゲームの数々はフロッピーディスクという形で発売されていますが、フロッピーなどの磁気媒体は年数がたてば磁気が弱くなりデータが読めなくなります。さらに日本の高温多湿な環境では、遺された多くの資料がカビの被害にあうなど、損傷も進んでいました。少しでもこうした劣化を遅らせるための保管方法を模索するとともに、根本的な解決策として、フロッピーディスクに記録された情報の移行（マイグレーション）の方法を見つけることが急務でした。 ゲーム保存協会はもともとKryoFluxと呼ばれるフロッピーディスク保存技術の開発に関わっており、これまで団体内でもこのKryo
というアプローチを紹介してる記事があって、なるほど？と思ったのでまとめてみる。 元記事はこちら。 Leveraging Web Workers to Safely Store Access Tokens – The New Stack 毎度のことながら、今にはじまったことではない。 元記事いわく WebWorkerであれば、メインスレッドで実行されるであろうXSSや3rdのコードから触れないので安全！ 設計としては、 メイン: まず`Worker`をロード メイン: 初期化のメッセージを`postMessage()` クレデンシャルがあるならそれを渡す ワーカー: アクセストークンの準備 受け取ったやつ or そこで`fetch()`して、オンメモリに保存 （これで準備OK） メイン: APIにリクエストしてほしいと`postMessage()` ワーカー: APIに向けてアクセストークン
はじめに コンピュータの世界では「性能」および「性能測定」という言葉があります。これらの言葉にはたくさんの意味があるのですが、業務システムの構築、運用にかかわったような人でなければ、「PCの新しいパーツに対して様々なベンチマークソフトウェアを走らせること」が性能測定であり、その結果得られるものが「性能」といったところでしょう。本記事ではそれ以外の、業務システムにおける性能や性能測定について述べます。 性能 ひとくちに性能といっても、さまざまな指標があります。代表的なものは「スループット」、「IOPS」、そして「レイテンシ」です。これらについてストレージデバイスを例に説明します。 スループットは単位時間あたりにどれだけのデータを送受信できるかであり、XX MB/sやYY GB/sのようにあらわします。性能といって一番イメージしやすいのはこれでしょう。スループットが重要な意味をもつのは大きなデ
Backblazeは、2023年第2四半期の自社データセンターにおけるデータドライブの統計レポートを発表した。 クラウドストレージやクラウドバックアップサービスを提供するBackblazeは2023年8月3日（米国時間）、2023年第2四半期の自社データセンターにおけるデータドライブの統計レポートを発表した。 2023年第2四半期末の時点で、Backblazeは世界中のデータセンターで24万5757台のHDDとSSDを管理していた。そのうち4460台が起動ドライブで、その内訳は3144台がSSD、1316台がHDDだった。同レポートでは、BackBlazeの管理下にある24万1297台のデータドライブに焦点を当て、2023年第2四半期と生涯の故障率を報告した。 2023年第2四半期のハードドライブの故障率 2023年第2四半期では、顧客データの保存に使用される24万1297台のハードドライ
外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 | Amazon Web Services
Amazon Web Services ブログ 外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 このブログは 2022 年 3 月 24 日に Anderson Hiraoka (Solutions Architect) と、Rafael Koike (Principal Solutions Architect) によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 企業では、ファイルや画像などのデジタル資産をリポジトリに保存することが求められることが多くあります。多くの場合、これらのファイルのソースは、社内システムに接続されていないパートナーまたは個人であり、ファイルをアップロードするためには、企業の認証が必要となります。お客様は従来、ファイルのアップロードを処理するためにサーバーを使用していましたが、大量のネットワー
埼玉大学は2月9日、業務で使っているNASが不正アクセスされ、ランサムウェアによりデータが改変される被害に遭ったと明かした。ネットワーク設定に不備があった上、NASのパスワードが破られたのが原因としている。 不正アクセスがあったのは2022年6月7日。午前8時ごろにネットワークアクセス制限の設定を変更したところ、設定不備が発生し、外部からNASにアクセスできるようになった。同日正午ごろになると外部からのログイン試行が繰り返され、NAS2台のパスワードが破られたという。攻撃者は侵入したNAS経由で他のNAS4台にも不正アクセスし、データを改変した。 埼玉大学は午後3時ごろに異常を確認し外部からのアクセスを遮断。学内の担当者が調査やデータ復旧作業、学内にある全NASの点検や設定見直しなどの対応をとった。 同学は「本件の発生を厳粛に受けとめ、情報管理体制の強化と再発防止に取り組んでまいります」と
各種メモリ／ストレージについて，2023年時点で標準的なアクセス時間，所要クロックサイクル，転送速度，容量を，各種カタログスペックを参考にまとめてみました． レジスタ(レジスタファイル) 最近のCPUのレジスタ(register)のアクセスは，通常CPUの1クロックサイクルで完了します．2023年時点では，標準的なCPUのクロック周波数は，1〜4GHz程度のオーダーです．1GHzは1秒あたり10億回，すなわち1クロックサイクルは1ナノ秒です． したがって，2023年時点では，レジスタには0.25〜1ナノ秒程度でアクセスできると言えます． レジスタのメモリ容量は，レジスタファイルに存在するレジスタ数に依存します，これは命令で明示的に指定できるレジスタ数という解釈もありますが，レジスタ・リネーミングのようなプロセッサ技術を用いると，実際にはより多くのレジスタ数を持っていると解釈することもできま
AWS、Azure、GCPのどの仮想マシンからでもiSCSIでアクセス可能なブロックストレージ「HPE Cloud Volumes」、HPEが国内リージョンで提供開始
AWS、Azure、GCPのどの仮想マシンからでもiSCSIでアクセス可能なブロックストレージ「HPE Cloud Volumes」、HPEが国内リージョンで提供開始 Hewlett-Packard Enterprise（HPE）は、AWSやAzure、GCPのどのクラウド内の仮想マシンからでもiSCSIで高速にアクセスできるフルマネージドなブロックストレージサービス「HPE Cloud Volumes」を、日本国内にある同社のデータセンターから提供を開始し、11月1日より販売を開始すると発表しました。 11月1日の時点でAWSとAzureに対応。GCPへの対応は近日中に行われるとのこと。 特定のクラウドに依存しないストレージを作成できる Cloud Volumesの大きな特徴は、特定のクラウドに依存しないブロックストレージが提供されていることです。 一般に、例えばAWSのブロックストレー
Litestream メモ
Litestream Litestream - Streaming SQLite Replication benbjohnson/litestream: Streaming replication for SQLite. SQLite を S3 のようなオンラインオブジェクトストレージにリアルタイムでレプリケーションをとる仕組み。 事例 A database for 2022 · Tailscale Tailscale が Litestream へ移行している
ITP更新: IntelligentではなくなったIntelligent Tracking Prevention｜AD EBiS マーテック研究会
iOS13.4やSafari13.1と一緒に新しいITPがリリースされました。主な変更点は二つ。 * 全ての3rd party cookieをブロック * Local Storage等、クッキー以外のストレージを最後のインタラクションから7日後に削除 インタラクションとは、クリック・タップ・入力のことで、ドメイン毎に監視され、7日以内にインタラクションがないドメインのLocal Storageは削除されます。 その他に、JavaScriptからdocument.referrerで取得する全てのクロスサイトリファラーのダウングレード（"https://store.example/baby/strollers/deluxe-stroller-navy-blue.html"の場合、"https://store.example/"しか取得できなくなる）、および5秒以内の自動ページ遷移の検知も追加さ
はじめに 参考書籍が非常に参考になったのでテーブル設計に関する内容のみをピックアップまとめてみました。普段テーブル設計をしていれば"当たり前"に実践している方も多いと思いますが、今回チーム内での勉強会用の資料の意味合いも込めて作成しました。本記事では、基本的にリレーショナルデータベースにおける設計を想定しています。 ご留意ください 本記事は"何があってもこのような設計が非推奨される"というものではありません。その時々のコンテキストによっては採用することが妥当な場合もあるかと思います。 1. 正規化が不十分 非正規化とは、データベース設計において、データの重複や冗長性を意図的に許容することを指します。正規化は、データの整合性と効率的なストレージのためにデータの重複を排除するプロセスですが、非正規化はそれとは逆のアプローチをとります。非正規化の目的は主にパフォーマンスの向上です。ジョイン操作の
福井県産業情報ネットワーク「ふくいナビ」の利用者データ（10/5時点）の復元およびシステムの復旧時期（予定）について | 公益財団法人ふくい産業支援センター
令和２年１１月１日（日）から全データの消失により使用できなくなっております福井県産業情報ネットワーク「ふくいナビ」の令和２年１０月５日時点での利用者データのバックアップが確認され、メールマガジン、メーリングリストの配信先メールアドレス等の情報を抽出できることになりましたのでご報告します。 また、「ふくいナビ」のクラウドサーバーに移行する前の旧システムプログラムも確認され、システムの復旧時期（予定）が決まりましたので併せてご報告します。 障害発表以降の経緯について サーバー管理会社であるＮＥＣキャピタルソリューション（株）福井営業所（以下、「ＮＥＣキャピタルソリューション」という）と「ふくいナビ」システムの運用保守会社（以下、「保守業者」という）に調査をさせたところ、システムプログラムと登録されていたデータが完全消失し、復旧できない旨の報告を受け、１１月５日（木）に「ふくいナビ」の障害につい
三井住友カード ゴールド(NL)のデメリットは?メリットない・いらないは勘違い【年会費無料になる100万円修行のコツ】
カセットからフロッピー、そしてハードディスクを制御するSASI、SCSI、IDE、ATA、SATA――さまよえるストレージ用インタフェース標準を語る
カセットからフロッピー、そしてハードディスクを制御するSASI、SCSI、IDE、ATA、SATA――さまよえるストレージ用インタフェース標準を語る：“PC”あるいは“Personal Computer”と呼ばれるもの、その変遷を辿る（1/5 ページ） 昔ながらのIBM PC、PC/AT互換機からDOS/Vマシン、さらにはArmベースのWindows PC、M1 Mac、そしてラズパイまでがPCと呼ばれている昨今。その源流からたどっていく連載。第15回はちょっと目先を変えて、ストレージ用インタフェースの進化について。 第1回：“PC”の定義は何か まずはIBM PC登場以前のお話から 第2回：「IBM PC」がやってきた エストリッジ、シュタゲ、そして互換機の台頭 第3回：PCから“IBM”が外れるまで 「IBM PC」からただの「PC」へ 第4回：EISAの出現とISAバスの確立 PC標
はじめに AWSのクラウドストレージであるAmazon S3は、AWS上にファイルを保存する際に第一の選択肢となるサービスです。その普及度の高さから進化も早く、最新機能も含めた全体像の理解は労力が掛かります。 そこで備忘録も兼ねて、2023年4月時点での機能および使用法を、初学者でも理解しやすいことを心掛けてまとめました。 網羅度にこだわってまとめたので、「S3の全体像を理解したい！」という方は、ぜひご一読頂ければと思います。 また、S3のセキュリティとバックアップ機能は別記事にまとめたので、よければこちらもご参照ください。 Amazon S3とは 「Amazon Simple Storage Service」の略です。後ろの3つの単語の頭文字が全てSなので、S3と略しているようです。 S3は端的に言うとクラウド上にファイルを保存するためのサービスで、Googleドライブのようなオンライン
ゲームクリエイターがゲーム制作に使っていたGoogleドライブがいきなり垢バンされてデータが全部消える危機に「手元にバックアップはしておこう」
いづみ上総（作家） @gold_9_tail ゲーム制作に使っていたGoogleドライブが垢バンされました。 データは全てそこに保存していました。異議申し立てはしました。受理されなかった場合は全ての制作中の物が消滅します。 みなさん、Googleに制作データを保存するのは止めましょう。 2023-04-01 02:59:46
HSEとは何か
Heterogeneous-Memory Storage Engineについて解説します これは2020年6月6日に行われた カーネル/VM探検隊 online part1での発表資料です 参考文献 Heterogeneous-Memory Storage Engine: https://www.micron.com/hse Don't stack your log on my log: https://www.usenix.org/node/187064 電源を切っても消えないメモリとの付き合い方: https://speakerdeck.com/fadis/dian-yuan-woqie-tutemoxiao-enaimemoritofalsefu-kihe-ifang この資料のサンプルコード: https://github.com/Fadis/hse_demo カーネル/VM探検隊
無料でGoogleドライブ・FTPなど70以上のストレージサービスに対応しているファイル転送・同期アプリ「Rclone」を使ってみたレビュー
さまざまなクラウドサービスを使っている場合、それぞれのシステムに応じたファイルの転送手段を準備するのは面倒なもの。「Rclone」は70種類以上のストレージサービスに対応しており1つのアプリでほぼ全てのストレージサービスとファイルのやりとりをできるとのことなので、実際に使ってみました。 Rclone https://rclone.org/ RcloneはUNIXコマンドで言うところの「rsync(同期)」「cp(コピー)」「mv(移動)」「mount(マウント)」「ls(ファイル一覧表示)」「ncdu(ディスク使用量確認)」「tree(ディレクトリ構造をツリー表示)」「rm(削除)」「cat(ファイルの中身表示)」の動作が行えるとのこと。 また、「--dry-run」に対応しており事前にコマンドの結果をプレビューすることで重要なファイルを削除してしまうというミスを減らすことが可能となってい
Rustは2006年に開発がスタートし、Mozillaが開発を支援。近年では開発者向けのQ&Aサイト「スタック・オーバーフロー」でも好きな言語ランキングで人気を博しています。 システムプログラミングに適した言語であり、CやC++からの移行を考えている方もいるのではないでしょうか。 『詳解Rustプログラミング』ではRustの基礎や独自機能だけでなく、システムプログラミングのノウハウについても解説されています。 【本書で取り上げるジャンル】 ・メモリ操作 ・ファイルとストレージ ・ネットワーク ・時間管理 ・プロセスとスレッド ・カーネル ・割り込みと例外処理 Rustをしっかり学びたいとき、読み通すことで確かな知識を得られる1冊となっています。 目次 第1章：はじめに 第1部：Rust言語の独自機能 第2章：言語の基礎 第3章：複合データ型 第4章：ライフタイムと所有権と借用 第2部：シス
S3のAPIと互換性を持ったオブジェクトストレージの運用についてお話します - Pepabo Tech Portal
はじめまして。 技術部プラットフォームグループの@rsym1290です。 弊社ではBayt(ベイト)というプライベートなオブジェクトストレージを運用しています。 本記事では、Baytの紹介と最近の取り組みについて紹介したいと思います。 Baytとは？ Baytとは、S3と互換性のあるAPIを提供しているプライベートなオブジェクトストレージです。 弊社では様々なサービスを提供していますが、各サービスで画像・動画・テキストなどのコンテンツを扱うことが多々あり、 それらを保存できるストレージが必要です。 このストレージを提供しているのがBaytです。 特に利用しているのはカラーミーショップとグーペです。 カラーミーショップで利用する商品画像や、グーペで利用するホームページ用の画像の保存先としてBaytを利用しています。 カラーミーショップについては、昨年12月に「カラーミーショップの商品画像の最
本記事の読者層向けに「バッファローの」と書いたが、実際の「おもいでばこ」ユーザーは、バッファローというメーカーのことはほとんど何も知らないはずである。なぜならば、本体にもリモコンにもBUFFALOの赤いロゴはどこにもなく、本体底の製造番号シールのところに小さく「Buffalo Inc.」と書いてあるだけだからだ。 われわれIT／PC系オジサンの知るバッファローは、ヨドバシやビックカメラのストレージ売り場やLAN売り場の目立つ場所にやたらと箱を積み上げるメーカーであり、アキバの裏通りで「玄人志向」シリーズを売るメーカーだ（現在はグループ内の別会社）。ストレージやルータは、その時々で最も最新規格に対応し、最も速く、そして店頭に早く並ぶことが求められる。競合他社が2万9800円で売れば、2万9500円で売るような、ヒリヒリしたビジネスだ。 一方「おもいでばこ」は、そのバッファローから20光年ぐら
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HDD故障率のメーカー・モデル別統計データ2021年版、故障率が最も高かったのは？
東芝製NAS向けHDDに14TB×2個セットと12TB×2個セット、保証は3年
「“RAID全滅”があり得るように、“クラウドなら絶対安全”もない」、クラウド時代の「データ置き場の考え方」とは？ 「クラウドがなぜ落ちるのか？」をテラクラウドに聞いてみた
GitHub Archive Program
S3のコストダウンを実施してみた - dwango on GitHub
フロッピー保存の新時代がはじまります！ – ゲーム保存協会
【レビュー】 楽しくいじれる4万円の10GbE対応NASキット「TerraMaster F2-422」
macOS向け「Dropbox」、外付けドライブのサポートを終了。回避方法はなくユーザー阿鼻叫喚【やじうまWatch】
アクセストークンをWebWorkerで扱う - console.lealog();
性能と性能測定の基礎 - 覚書
8TBのHDDだけ故障率が高い謎――自社利用HDDの調査で分かった「気になる真実」とは
「パスワード破られた」 埼玉大のNASで不正アクセス被害 ネットワーク設定ミス発生から数時間で侵入許す
QNAP製NAS、再びランサムウェアの標的に
各種メモリ／ストレージのアクセス時間，所要クロックサイクル，転送速度，容量の目安 - Qiita
NASの文書をChatGPTのコンテキストに！ QNAPの全文検索エンジン「Qsirch」を活用【イニシャルB】
【随時更新】テーブル設計でミスらないために確認したいアンチパターン - Qiita
GmailとGoogleドライブの容量を空ける6つの方法 | ライフハッカー・ジャパン
【AWS】Amazon S3 を徹底的にまとめてみた！ - Qiita
Windowsゲームのロードを高速化するDirectStorage技術が一般公開へ
WD製NASに脆弱性、今すぐネット切断を。フルリセットで全データ消失
【特集】 そのデータ、本当にクラウドに預けて大丈夫？NAS導入のススメ
「Synology Drive」でテレワークもファイル共有も！ 1万円台のNASでもPCとファイルを自動同期【イニシャルB】
システムプログラミングが得意なRustを学ぶなら今！『詳解Rustプログラミング』発売
バッファロー、USBメモリのようなスティック型SSD
【Mac Info】 Macの高速化に効果的!「ストレージ不足」を解消する"無料"のメンテナンステクニック
発売から11年、進化だけを目指さない「おもいでばこ」の歩み