FATとexFATの違い
対象OS：Windows Vista ／ Windows 7 ／ Windows 8 ／ Windows Server 2008 ／ Windows Server 2008 R2 ／ Windows Server 2012 解説 Windows OSで利用できるファイルシステムにはFAT（File Allocation Table）やNTFS、exFAT、ReFSなどさまざまなものがある。Windows OSで現在一番広く使われているファイルシステムはNTFSだが、リムーバブルデバイス（特にUSBメモリや、SDカードのようなメモリカード）ではまだFATがよく使われている。 FATファイルシステムは非常にシンプルなアーキテクチャを持ち、PC以外でもさまざまな機器（デジカメやICレコーダー、音楽プレーヤー、携帯電話など）で利用できる。しかしもともとは30年以上も前に開発されたものをベースにして
ext3ファイルシステムとファイルの削除・復元について
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 研究の一環でext3ファイルシステムのファイル管理方法や、ファイルを削除した時の復元について色々調べたので、それを忘れないように記事にしておこうと思います。 はじめに 今回はext3ファイルシステムについて調査してみました。僕はLinuxでファイルを扱う前提の研究をしているし、大規模環境でのファイルの処理はとても重要だと思っています。 また、ファイルシステムについて理解を深めておく事で、今後新たなネタにならないか等も考えています。現在はext4やBtrfs等の調査が進んでいますが、改めて基本に戻ってext3について調査しました。 まずは、分かりやすいようにext3ファイルシステムでファイルを削除した場合に、どのようにファイル復元ができるのかを
ext4の変更を辞めて新しくext5を作ったらどうかという意見に対するTheodore Ts'oの回答
EXT4 Data Corruption Bug Hits Stable Linux Kernels - Page 5 つい先日、ext4をぶっ壊すバグが発見されたことを報じたPhoronixの記事に対するフォーラムで、「もうこれ以上ext4を変更するのを辞めて、新しくext5を作ってはどうか」という意見があり、それに対してTheodore Ts'oが回答している。 それは検討したことがある。現在、新機能は実験的機能フラグやマウントオプションで追加されている。そういうデフォルトで有効になっていない実験的な新機能を使う利用者は問題に出くわしやすい。デフォルトで有効になっていない新機能を試したがる利用者を止めることなどできやしない。本番サーバーでext4のかわりにext5を使うことを止めることができないのと同じだ。メタデータチェックサムのようなものがデフォルトで有効になっていないのは、まだ使う
Ubuntu 12.04時代のファイルシステムの選び方 ext4でいいじゃん編 - 旧ID:itiriのブログ
※2013年1月3日、ext2/3/4を更新。 ※2012年11月14日、NTFSの欠点を追加。 行っとけ！ Ubuntu道場！ ― 第55回 〜師範、Ubuntu 12.04の特徴を教えてください！〜 ↑の記事の3ページ目にXFSのことが書いてあった。 hito：むしろXFSが安心して使えるようになることの方が大きいかなぁ。 hito：XFSって、わりとメモリ食うんですよ。 で、システム内のメモリがなくなってきたりするとですね……。 Linux全般でどんな挙動になるでしょう、そこのやまねさん。 やまね：キャッシュやバッファを始末するために、 メモリ上に貯めてるものを「追い出す」動作がかかるね。 hito：で、その「追い出す」先がXFSだったりするわけですね。 hito：そうすると何が起こるかっつーと、 「メモリが足りない→XFS領域にデータを書きだそうとする→XFSがメモリを要求する」と
ファイルシステム比較(ZFS/Btrfs/ext4/UFS/NTFS): のぼメモ(仮)
※RAIDのところは「ファイルシステムとしてRAIDの機能を有している」場合に○とした。 こうみる限りだとZFSがいい感じに…見えるのだがどうだろうか。以下を考慮すると…Btrfsな予感。 ZFSとBtrfsは機能的に概ね同じ BtrfsがLinux kernelに取り込まれてる ZFSはライセンス(CDDL)的にLinux kernelには…× ZFSを開発してるSunが、Btrfsを開発してるOracleに買収されてる ZFSについては↓の書籍がいい感じに情報載ってました。概念の話から始まって、実運用例とか、より突っ込んだデータ構造の話とか色々。実際に見た本は表紙が緑色だった気がするが…たぶん同じ。
Linux ファイルシステムにおけるバグ傾向
Linux には複数のファイルシステムがあります．これらには，仕様としての機能差の他に，品質・安定度に関して大きな差があると考えられています． 今回は，そのあたりを定量的に分析した論文をご紹介． A Study of Linux File System Evolution [キャッシュ] https://www.usenix.org/conference/fast13/study-linux-file-system-evolution 調査の対象は，XFS/Ext4/Btrfs/Ext3/Reiser/JFS の 6 つのファイルシステム．これらについて，Linux 2.6.0 (Dec ’03) から 2.6.39 (May ’11) の間に取り込まれた 5,079 個のパッチを分析しています． パッチの種類 まず，パッチを次の 5 種類に分類しています． Bug バグの修正． Reli
Filesystem Hierarchy Standard - Wikipedia
Filesystem Hierarchy Standard（ファイルシステム・ハイアラーキー・スタンダード、FHS、ファイルシステム階層標準）は、Linuxを含むUnix系オペレーティングシステム (OS) での主なディレクトリとその内容を定めたものである。大部分において、BSD系のディレクトリ階層を基にして拡張し定式化している。 主要ソフトウェアおよびハードウェアベンダーからなる非営利組織Linux Foundationが保守管理しており、HP、レッドハット、IBM、デルといったベンダーが参加している。 2020年11月)現在の最新版は3.0で、2015年6月3日に発表された[1]。 多くのLinuxディストリビューションはFHS準拠を方針として宣言し、FHSにしたがっている[2][3][4][5]。 もともと、UNIXやUnix系OSには、/etcや/binや/usrなどごく基本的な部
楽天、自社開発の分散ファイルシステム「LeoFS」をOSSとして公開
楽天は2012年7月4日、自社開発した分散ファイルシステム「LeoFS」を、オープンソースソフトウエア（OSS）として公開した。「Amazon S3」互換のAPI（アプリケーション・プログラミング・インタフェース）を備えたオブジェクトストレージを構築するためのソフトであり、複数台のPCサーバーをピア・ツー・ピア（P2P）構成にすることで、数ペタバイトの容量を実現できる。楽天の技術開発部門である楽天技術研究所が開発した。 楽天は2011年夏に、Webサイトで使用するデジタル写真のストレージとして「ARIA」を自社開発し、実際のサービスで運用を開始している。今回開発したLeoFSは、このARIAの後継バージョンである。Web用写真に多い数十～数百Kバイトのファイルを高速に読み書きできるように、キャッシュアルゴリズムなどを工夫した。 LeoFSは、データを保存するストレージクラスターがP2P構成
MongoDBをext3で使ったら死んだ · DQNEO日記
Linux File Systems MongoDB uses large files for storing data, and preallocates these. These filesystems seem to work well: ext4 ( kernel version >= 2.6.23 ) xfs ( kernel version >= 2.6.25 ) In addition to the file systems above you might also want to (explicitly) disable file/directory modification times by using these mount options: noatime (also enables nodiratime) We have found ext3 to be very
そういえばsshfsが便利な件 - （ひ）メモ
以前はリモートのファイル編集するのにEmacsでTRAMP使ってたんですが、sshfsの方がシェルでcdとかlsできるし、Emacsでoccurとかもできるしいいよねってんで最近はsshfs使ってます。 で、sshfsしたいホストが多いといろいろめんどくなるんで、↓みたいなヘルパスクリプト書いて使ってましたよって話です。 マウントポイントをまとめておくディレクトリ(~/r/とか)の下に、予めsshfsするリモートホストの名前のディレクトリを作っておきます。sshするときユーザー名が必要なホストはUSERNAME@HOSTNAMEでmkdirしときます。 $ cd ~/r/ $ mkdir host1 $ mkdir foo@host2 あとは末尾のヘルパスクリプトで、sshfsでマウントしたり、sshfsなマウントポイントの一覧を見たり、アンマウントしたりできます。 $ ./m host1
Linuxでうっかりrm -rfしちゃったけど復活出来たよー＼(＾o＾)／ - y-kawazの日記
サーバのファイル整理作業をしていたところ…、 間違えてrm -rfしてしまった！ ぎゃーバックアップもねー！ 長いこと生きてたらこんな経験の1度や2度はありますよね？ えぇ、ついさっきやらかしちゃいましたｗｗオワタｗｗｗ 速攻「rm 復活」とか「rm 取り消し」とかでググッたねｗ、したらmcってプログラムのUndelete機能使えばよいって情報が出てくるが、どうやらこれext2じゃないと使えないっぽいぞ…、うちext4だ。 混乱。以下ターミナルのヒストリーより実況。 ## こーいうときはまずあれだ、現場保存！ ## まずは今いるパーティションを確認 # df -hT Filesystem Type サイズ 使用 残り 使用% マウント位置 /dev/sdb2 ext4 193G 6.9G 176G 4% / /dev/sdb1 ext3 194M 22M 163M 12% /boot /d
ファイルシステムとしての Git - 言語ゲーム
Git のコマンド体系は全く歴史に学ばず後世に禍根を残す酷いデザインだが、どういうわけか内部構造は大変素晴らしい。特にファイル構造を一旦キーバリュー式データストアに保存するというのは是非参考にしたいアイデアなので調べてみました。 Git 内部データストアの基本機能は、ファイル名を使わず中身だけを保存する事です。ファイル名が無くて後からどうやって保存した中身を取り出すかというと、保存時に SHA-1 という文字列が発行されるのでそれを鍵に取り出します。それでは試しにやってみます。まず準備として新しい Git レポジトリを作ります。 $ mkdir test $ cd test $ git init Initialized empty Git repository in /Users/takashi/tmp/test/.git/ blob 次に、適当な文字列を保存します。 $ echo '適当
Google File System（GFS）が削除に適さない問題と、次世代分散ファイルシステムに関するつぶやきメモ
かかしみねこ・ｘ・” @gsminek 既存の体制を全て悪いと言ってしまうのは思考停止だよなぁ。その恩恵を少なからず受けているだろうに。PDCAサイクルをきっちりまわす習慣をつけなきゃいけないし、Pがなかったんだったら注意深く現在のエコシステム全体を観察する必要があるだろうになぁ。 かかしみねこ・ｘ・” @gsminek 文系に限らずそんな部署ないって場合も。 RT @clione: RT @ywakabayashi: そんな配属滅多にない。RT @ak_akuma: そもそも文系院生の場合はパフォーマンスを発揮できるところに配属してくれるとは限りませんしね。法務・財務の国家資格持ち以外。 かかしみねこ・ｘ・” @gsminek 書籍形態のコミックでは流通網の整備されていない欧米では、入手することそのものが難しい、ということで、SonyはPSPでコミック配信を始めましたね。地域特性を理解し
Linuxファイルシステムまとめ | エンタープライズ | マイコミジャーナル
Make Tech Easier - Uncomplicating the complicated, making life easier 代表的なファイルシステムに絞っても、Linuxにはいくつか選択候補になるファイルシステムがある。ディストリビューションの指針や評価ごとに違うファイルシステムが採用されたり、バージョンがあがるごとにデフォルトのファイルシステムも入れ替わる傾向がある。インストール時に選択できることが多い。 どのファイルシステムを選択するかは用途ごとに適切なものを選べばいいことになるわけだが、それぞれを比較するのは少々大変だ。そうした場合に役に立つ情報がChoosing The Best Linux Filesystem For Your PC - Make Tech Easierにおいて公開された。代表的なLinuxファイルシステム(Ext2、Ext3、Ext4、Reis
Solaris ZFSの基本的な仕組みを知る
本連載では、Solaris ZFS (以下 ZFS) の基本的なコンセプトやアーキテクチャから、その機能や実用・応用例を解説するという流れでZFSをご紹介させていただきます。 今回は、ZFSの基本的コンセプトとアーキテクチャの解説です。 Zの文字に込められた意味 ソースコードの複雑化と、扱うデータ量の増大に伴い、既存のファイルシステムでは管理性、拡張性、安全性、完全性、機能、性能が問題となることが多くなってきました。このような中、サン・マイクロシステムズ（以下、サン）のエンジニアチームは、まったく新しい、まるでコンピュータのメインメモリのように扱えるファイルシステムの開発を始めました。 目的は、既存のファイルシステムが抱える問題点をすべて解決し、管理が容易で、拡張性があり、安全でかつ完全性が保持され、便利な機能を持ち、高性能な、ある意味、究極のファイルシステムを作ることでした。 ZFSの「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
ZFS on Linux @ZFS Day 2011.10
