ヘリウム封止で容量18TB、CMR方式の東芝製NAS向けHDD
ハードディスクに障害が発生する可能性を機械学習で予測する研究
ハードディスクドライブ(HDD)は安価に大容量のストレージを用意でき、長期保存に適しているというメリットがありますが、衝撃や熱に弱いというデメリットがあり、精密部品も多く使われているため、物理障害も十分起こり得ます。オンラインストレージサービスを提供するBackblazeが、ハードディスクの状態から機械学習で将来的に障害が起こりうる可能性を予測する技術の研究論文を解説しています。 Interpretable predictive maintenance for hard drives - ScienceDirect https://www.sciencedirect.com/science/article/pii/S2666827021000219 Using Machine Learning to Predict Hard Drive Failures https://www.backb
壊れたHDDからのデータ救出手順
その後、復旧が完全じゃない時(インデックスエラーが生じている時)Chkdskを/bオプションを付けてかける。 更に、アクセス権限の問題でエラーが起こる場合はアクセス権限を付与する。 それでも隠しフォルダになっている場合は、隠しフォルダとシステムで保護されたファイルを表示するように設定する。 拡張子がおかしい場合は極窓で直す。 以下詳細メモ SystemRescueCDでHDDを復旧する際は、誤操作を防ぐため他のHDDを繋がないほうが良い。コネクタを外すのが面倒ならBIOSで該当以外のHDDをDisableにすると良いと思う。 2TB以上のHDDを認識しない時、壊れたHDDを認識できない時は、外付けケースに入れて繋ぐと認識する事がある。 ノートパソコンなどでCDドライブがなく、USB端子も足りない場合、SystemRescueCDのISOファイルをRufusを使ってUSBメモリに焼き、USB
Western Digital、各HDDの記録方式を公開、WD Red問題が関係? - iPhone Mania
Western Digital、各HDDの記録方式を公開、WD Red問題が関係? 2020 4/29 Western Digitalは現地時間2020年4月20日、自社公式ブログに、「WD Red NASドライブについて」とのタイトルの記事を投稿し、各HDDシリーズの記録方式を公開しました。 WD Red NASドライブについて Western Digitalは今回投稿した記事で、瓦磁気記録方式（SMR:Shingled Magnetic. Recording）と従来型磁気記録方式（CMR:Conventional Magnetic Recording）を、どのHDDに採用しているかを明らかにしました。 Western Digitalは記事中で、下記のように述べています。 最近、一部のWD Redハードディスクドライブ（HDD）で使用されている記録方式についての議論が交わされています。本
WDのNAS向けHDD「WD Red」の記録方式が「RAIDに不向き」な仕様にこっそり変更されていたことが判明
大手HDDメーカーであるWestern Digital(WD)のNAS用HDDシリーズ「WD Red」の記録方式が、モデルチェンジの際にランダムライトアクセスに不向きとされるSMR方式に表記なく変更されており、WD Redシリーズを用いたRAIDの再同期に問題が生じるケースがあるとストレージに関するニュースサイト「Blocks & Files」が報じています。 Western Digital admits 2TB-6TB WD Red NAS drives use shingled magnetic recording – Blocks and Files https://blocksandfiles.com/2020/04/14/wd-red-nas-drives-shingled-magnetic-recording/ Seagate 'submarines' SMR into 3 B
HDDベースのPCが超サクサク！インテル「Optane Memory」速攻レビュー (1/3)
今回リリースされたOptane Memory「MEMPEK1W016GAXT」は開発コードネーム“Stony Beach”として知られていたもの。PCI Express×2接続なので端子側のKeyはB＆M、モジュールは一般的な2280で提供される。 2017年4月24日（米国時間）、インテルは新メモリー技術「3D XPoint」を利用した新しい製品「Optane Memory」の発売を開始した。すでに同社は3D XPointを使った製品として、「Optane SSD DC P4800X」というデータセンター向けの超高性能SSDを発表済みだが、Optane Memoryはごく普通のPCユーザーをターゲットにした製品だ。 まず、Optane Memoryは一般的にイメージするメモリーとは違う。低速なSATA接続のストレージ（HDDやSSD）と組み合わせて高速化するキャッシュ専用のSSDであり、
ハードディスクはどのメーカー製が一番壊れにくいのかがわかる約6万8000台ものHDD故障率データ
By Thomas Hawk Backblazeは自社で運用しているオンラインストレージを構成しているHDDの故障率を四半期ごとに発表しており、前回は運用台数6万1523台に対して3カ月間の故障件数が266件、故障率は1.84％でした。そして今期はHDDの運用台数を6万8813台に増加させ、第2四半期版(2016年4月～6月)として、故障率がどのように推移したのかがついに発表されました。 Hard Drive Failure Rates: The Results from 68,813 Hard Drives https://www.backblaze.com/blog/hard-drive-failure-rates-q2-2016/ Backblazeが運用しているHDDはHGST・Seagate・東芝・WDC製。全体・モデルごとに3カ月間の故障率が算出されています。全体の故障率は1.
%E8%87%AA%E5%AE%85%E3%81%A7%E5%A4%A7%E5%AE%B9%E9%87%8F%E3%82%B9%E3%83%88%E3%83%AC%E3%83%BC%E3%82%B8%E3%82%92%E9%81%8B%E7%94%A8%E3%81%99%E3%82%8B
前回 RAID に関するちょっとした話を書きましたが個人が巨大なストレージを運用するにあたって得られたノウハウをだいたい全部書いておきます。 そもそもメリットあるのか？ メリットはあります。金です。 Google Drive は安いですが、それでも 1TB 月 1000 円です。しかし運用にかなり制限がでます。柔軟に使える Amazon Web Service ならその 3 倍+転送量課金です。 16TB だと月 5 万円もかかってしまいます。ちなみにもっとも柔軟に使える EBS だと 16TB で 83000 円ぐらいです。 Google Compute Engine の低冗長性ストレージは S3 より少し安かった気はするけど別にとても安いわけではなかったと思う(よく覚えていないし調べるのがめんどくさい)。 50TB のストレージを Google Drive でごまかしごまかし運用したと
HDD負荷の原因となったプロセスを特定する : 電子の密林を開拓する
今回は、(CloudWatchではなくて) ふつーの Linux 的な方法で 負荷原因となっているプロセスを特定するための方法について調べます。 ・前提 複数のプログラムが動作している状況で、いずれかのプログラムがHDDを高頻度に利用し、サーバ負荷を高めている。この負荷原因となっているプログラムとプロセスを特定したい。 ここでは、「負荷試験用にEC2ラージインスタンスを用意し、sysbench を使ってソコソコ以上の HDD 負荷を発生させる」という状況を作っておきます。 今回は負荷試験が目的なので、負荷試験中でも快適な(?)操作が出来るように性能の高いEC2インスタンスにしてみました。 ・EC2インスタンス作成と準備 まずは EC2インスタンスを作成します。 HDDの負荷試験を行うので、EBSタイプでなく InstanceStore (ローカルの EphemeralDisk を使用する)
「iTunes Match」で手持ちの音楽ライブラリを300％活用するワザ (1/2)
Appleは5月2日にいきなり「iTunes Match」の日本語版をスタートした。サービス内容がわかっている人はすぐに飛びついたが、そのほかの人はまだ様子見していることだろう。音楽の楽しみ方によっては、今すぐにでも契約すべき神サービスなので、ぜひチェックして欲しい。今回は、iTunes Matchで手持ちの音楽ライブラリを300％活用するワザを紹介しよう。 100％安心なバックアップ代わりに利用できる iTunes Matchは、ユーザーが持っている楽曲を「iCloud」で管理するサービス。これだけ見ると、特に目新しくもないし、メリットもわかりにくいが、実は類を見ない神サービスなのだ。 iCloudに楽曲データをすべて保存するので、信頼できるバックアップとして活用できる。HDDはいつかは壊れるデバイスなので、大事な楽曲は別ストレージにバックアップしていることだろう。この手間やコストがなく
死にかけのHDDからのデータ吸い出しには GNU ddrescue が良いらしい - 玉虫色に染まれ!!
今日は超小ネタ。 （というか、言いたいことは記事タイトルで言い切ってしまってます。） 先日、家でサーバーとして使っているPCのHDDの調子がおかしくなっていたので、データの引き上げを行おうとしたのですが、dd でパラメータをいろいろ設定するのは面倒だし、良いツールなりスクリプトなりがないかと探したところ、ddrescue というプログラムがあることを知りました。 ２つの ddrescue ただ、ちょっとした罠なのですが、ddrescure という名前のプログラムは２種類あります。 http://www.garloff.de/kurt/linux/ddrescue/ http://www.gnu.org/software/ddrescue/ どちらも ddrescue で、同じ目的・機能のものですが、まったく別のソフトです。 区別して呼ぶ場合、前者は dd_rescue、後者は GNU dd
Python - Perl + Java = ？ はてなブログのデータとパソコン工房のPCを使って「word2vec」で遊んでみた - はてなニュース
統計処理用のマシンを使って、自然言語処理で遊ぼう！ BTOパソコンで有名な「パソコン工房」から「統計処理用のPCを企画しているので、何かできないか」と相談された編集部は、はてなエンジニアと相談して「word2vec」を使って遊んでみることに。はてなブログのデータとかっこいいパソコンを使って、最新の自然言語処理で楽しむ様子をお楽しみください！ 記事の終わりには2TBの外付けHDDが当たるプレゼントのお知らせも。 （※この記事は株式会社ユニットコムによるPR記事です） ―― BTOパソコンのショップ／サイトで有名な「パソコン工房」さんから、以下のような依頼が来ました。 データサイエンティスト向けに、統計処理用に使えるパソコンをいろいろと考えています。なので、何か面白い処理に使って、PR記事にしてほしいんです！ ▽ 【パソコン工房公式サイト】BTOパソコン（PC）の通販 ―― ということで、はて
第二世代MDD(萌え駆動開発)によるプログラミングWin32 #CLRH89
This document provides an introduction and agenda for a session on migrating game server infrastructures to the cloud. It summarizes the experiences of Ubisoft and Behaviour Interactive in migrating their games Dead by Daylight and For Honor from peer-to-peer networking to using Amazon GameLift dedicated servers hosted on AWS. It also discusses how Gearbox Software developed online services for Bo
1GBあたりたったの8円で180TBの巨大クラウドストレージを構築できる「Storage Pod 4.0」
GoogleがGoogleドライブの利用料金を一気に下げたことで、クラウドストレージの普及がより進みそうな現状の中、最大容量180TBのプライベート・クラウドストレージを激安に構築・運用できる自作キット「Storage Pod 4.0」が登場しています。 Backblaze Blog » Storage Pod 4.0: Direct Wire Drives – Faster, Simpler and Less Expensive http://blog.backblaze.com/2014/03/19/backblaze-storage-pod-4/ 45 Drives Technical Information Wiki http://www.45drives.com/wiki/index.php/Main_Page 巨大なクラウドストレージキットStorage Pod 4.0がどんな
2014年3月18日(火)の業務日報 - ドクジリアン柔術少女 すから☆ぱいそん - ワルブリックス株式会社
ぜかましのフィギュア欲しい 冒頭からいきなりなんだこれはーッ！？・・・島風ちゃん（通称ぜかまし）とは、艦隊これくしょん (→Wikipediaによる解説)に出てくる子です。説明終わり。 とかいって、艦これ始めたはいいけどあんまりやってないんですよね。大破した子そのまま放置してたり、かわいそプレイ。島風は持ってないけど漣はかなり最初の方で引いて持ってます。てへっ 最強NASとか こんなマザーボードとケースあるんですね。mini-ITXフォームファクタながら、3.5インチHDDを前面から8本ホットプラグ出来るスーパーマシンが作れそう。4TBのハードディスクを8本入れたら32TBですぞ。 参考記事 エルミタージュ秋葉原 – サーバーからクライアントまで。8コアMini-ITXマザーASRock「C2750D4I」をいじり倒す エルミタージュ秋葉原 – そろそろ発売。12台のSSD/HDDが搭載で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【データ復旧のプロに聞く ストレージ運用のコツ】 HDDの構造と消耗、高密度プラッタが復旧難易度を上げてしまう理由
WD、2020年に世界最大容量の20TB HDD投入 ～CMR方式の18TB HDDも
WD、2019年からNAND/HDDのコントローラを順次RISC-Vベースに移行
WD、Raspberry Pi用2.5インチHDD「PiDrive 314GB」
WD初のデータ復旧サービス付きHDD ～Amazon限定発売