AWSが拓いたLustreファイルシステム新時代 -1- | HPCシステムズ Tech Blog
はじめに HPCとはHigh Performance Computingの略で、一般には科学技術計算を意味すると認識されています。ところが、この中にどこにも「科学」とか「技術」とかの単語はありません。HPCの定義として高速にデータ処理をするもの全般として広くとらえた方が良いと、ずっと個人的には考えていますが、まだまだ一般的な考え方とは言えないのが現状です。 さて、最初にAWSがLustreをやると聞いた時は、旧来のHPC以外の人はそもそもLustreなんて知らないし、使う理由もないのでは？と思っていました。実際、Lustreをメインのストレージとして使うには初期投資が大きくなりがちで、性能要件から構成を決定する必要もあり、大容量(数百TB〜数PB)が前提となるため、クラウドに組み込むには面倒なわりに、多くのケースにフィットしないように思えます。実際、かなり以前からMarketPlaceにA
安全な廃棄のために使用すべきストレージの機能(2/2) - Qiita
はじめに 前回の記事では、2019年末に報じられた「個人情報が保存された自治体のHDDが、廃棄処理委託先業者の従業員によって、データ復元可能な状態のまま転売された」という事件を題材に、ストレージを安全に廃棄するために行うべき対策としてストレージのロックと難読化を挙げ、SATAおよびNVMeストレージのロックの具体的な方法をまとめました。 同じく前回の記事で指摘した通り、「データ流出」に対する根本的な対策は「難読化」です。そこで今回の記事では、この難読化についてまとめます。 難読化には、「物理的破壊」、「記憶媒体を消去状態にする」、「複数回データを上書きする」といった従来から広く行われている方法や、暗号化機能を利用した「暗号的消去(Cryptographic Erase)」まで、様々な方法があります。 この記事では、まずストレージ廃棄時の難読化に関する国内外のガイドラインを概観し、その後難読
プログラマのためのフラッシュメモリ入門 - Qiita
はじめに 最近はSSDが広まってきたため語られることが増えてきたものの、以前はそうでもなかったような、そんなフラッシュメモリにまつわる話をこのへんでプログラマ視点でまとめておこうと思う。 技術的な話というよりポエム感がでているかもしれない。内容がLinuxにかたよっているかもしれない。 FTLとMTD HDDと比較するとフラッシュメモリは以下のような点が異なる。 read, writeはページ単位で行う 通常はwriteは上書きできない writeしなおすためには一度eraseをする必要がある eraseはブロック単位で行う 今時のMLC NANDだと、ページは8KiBでブロックが512KiBとかそんなオーダ、 NORはランダムreadできる(でも最近はSPI接続だよねぇ)、ビットを寝かす方向なら上書きwriteできる(でもECCが高度化する今時のNANDではやらないよねぇ)、とか細かい話
電源を切っても消えないメモリとの付き合い方
メモリのように書けて永続化される次世代ストレージデバイスNVDIMMの扱い方を解説します これは2019年10月19日に行われる予定だった カーネル／VM探検隊＠北陸 5回目(台風の影響で中止) での発表資料です サンプルコード: https://github.com/Fadis/kernelvm…
＠IT：特集：IP技術者のためのSAN入門 - Part.1
最近、「ネットワーク・ストレージ」というキーワードをよく見掛けます。従来までのストレージといえば、サーバに巨大なディスク装置を取り付けて、必要に応じてテープ装置でバックアップを取るという、比較的シンプルなものが主流でした。ところが、ストレージを利用するアプリケーションの種類が増え、さらに大容量のディスク領域を必要とするようになると、管理やリソースの利用効率の面で問題が見えてくるようになりました。こうした問題への解決策として登場してきたのが、「ネットワーク・ストレージ」です。ストレージのための専用のネットワークを構築することで、管理を容易にし、リソースの効率利用を実現するのです。本特集では、このネットワーク・ストレージにおいて現在主流となりつつある、「SAN（Storage Area Network）」について、IP技術者の観点から、その仕組みやメリットを分かりやすく解説していきます。（編集
Re: fdisk: What do plus signs after "Blocks" mean?
From: DervishD <lkml@xxxxxxxxxxxx> Date: Tue, 12 Jul 2005 19:37:21 +0200 Mail-followup-to: Konstantin Kudin <konstantin_kudin@xxxxxxxxx>, linux-kernel@xxxxxxxxxxxxxxx Organization: DervishD References: <20050712163514.42322.qmail@web52013.mail.yahoo.com> User-agent: Mutt/1.4.2.1i Hi Konstantin :) * Konstantin Kudin <konstantin_kudin@xxxxxxxxx> dixit: > Can anyone enlighten me what the pluses mean?
2TBを超えろ！ ATAディスクの4Kセクタ問題とは？（1/2） － ＠IT
3月版 2TBを超えろ！ ATAディスクの4Kセクタ問題とは？ 小崎資広 2010/4/7 前回書いたsys_membarrier()ですが、なかなかマージされない状態が続いています。だいたい議論も出尽くして後はマージするだけだと思っているのですが、どうもIngoは気に入らないご様子。たぶんオレ専用APIっぷりが美的感覚に合わないのでしょう。いつも「Genericに使えるように」っていいますから。 Compactionパッチは、マージの一番のネックだったkosakiがなかなかレビューしない問題は先月若干進展して、マージする方向で進んでいるみたいです。 さて、今月は久しぶりにハードウェアのお話です。ハードディスクの容量が2TiB（編注：テビバイト、1024GiB）を超えるのと前後して、4KiB（編注：キビバイト、1024bytes）セクタのハードディスクが出回り始めています。これについてハー
LVM dangers and caveats
Summary Risks of using LVM: Vulnerable to write caching issues with SSD or VM hypervisor Harder to recover data due to more complex on-disk structures Harder to resize filesystems correctly Snapshots are hard to use, slow and buggy Requires some skill to configure correctly given these issues The first two LVM issues combine: if write caching isn't working correctly and you have a power loss (e.g.
Barriers and journaling filesystems [LWN.net]
Journaling filesystems come with a big promise: they free system administrators from the need to worry about disk corruption resulting from system crashes. It is, in fact, not even necessary to run a filesystem integrity checker in such situations. The real world, of course, is a little messier than that. As a recent discussion shows, it may be even messier than many of us thought, with the integr
「RAIDを過信してはいけない」、データのバックアップやRAID復旧についてHDDのプロに聞いてみた
複数台のハードディスクを組み合わせて利用することで、万が一ハードディスクが故障してもデータを失わずに済むといわれる「RAID」は、企業のシステムに広く用いられているだけでなく、最近では市販の外付けのハードディスクにも採用されており、個人でも使う機会が増えてきました。 これらのシステムを利用してテラバイト級のデータを保存しているデータ量が大きければ大きいほど、故障すると大量のデータが失われてしまう危険性があるわけですが、どの様にバックアップをするのがいいのでしょうか。 より確実にバックアップをとるコツや、万が一の際にはどう対処すればよいのかを、過去１万台以上ものRAID復旧の実績を持つデータ復旧専門会社「日本データテクノロジー」の内部に潜入し、技術者の方々にいろいろと聞いてきました。 詳細は以下から。データ復旧|PC・サーバー・RAID機器のハードディスク復旧ならデータ復旧.com 日本デー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
極めて速いストレージとの付き合い方 - Speaker Deck
Wayback Machine