macOS上のAPFSはUnicode Normalizationを行うのか? - なるせにっき
iOS 10.3がリリースされましたが、APFSへの移行が含まれていて話題です。特に文字コード界隈ではHFS+で搭載されていた暗黙のUnicode Normalizationがなくなっている点が指摘されています1。 ではmacOSではどうなのでしょうか。SierraならばすでにAPFSを扱うことが出来るので試してみましょう。 % hdiutil create -fs APFS -size 1GB foo.sparseimage WARNING: You are using a pre-release version of the Apple File System called APFS which is meant for evaluation and development purposes only. Files stored on this volume may not be ac
Microsoft、巨大リポジトリを快適に管理できるGVFS(Git Virtual File System)を発表 | ソフトアンテナ
Microsoftは本日、巨大なGitリポジトリを快適に管理するための専用ファイルシステム「GVFS(Git Virtual File System)」を発表しました(slashdot)。 GVFSはGitリポジトリを格納するための専用ファイルシステムで、リポジトリを仮想化し、巨大なリポジトリでも高速な動作を可能とすることを目指して開発されているものです(具体例としてあげられているWindowsのコードベースは350万件を超えるファイルが存在し、サイズは270GBを超えている模様)。 必要なファイルだけをダウンロードすることでcloneを高速化し、リポジトリの状態を積極的に管理することで、checkoutやstatusなどに必要な時間も短縮します。例えばcloneにかかる時間が12時間から数分に、checkoutは2〜3時間から30秒に、statsuは10分から4〜5秒に短縮されるとしてい
EXT4 vs XFS vs Btrfs vs ZFSをfioでベンチマークを取ってみました。 - Qiita
概要 CentOS7のデフォルトのファイルシステムがXFSとなりました。 mkfsコマンドでも、minix, xfs, btrfsが使えるようになりました。 そこで気になるファイルシステムを色々調べ、ベンチマークを自分なり取ってみました。 多少なりともご参考になればと思います。 色々なファイルシステム こちらをご参考ください。 http://qiita.com/sion_cojp/items/c8e015db39ddbf43012e それぞれファイルシステムを作ってみる 今回の環境は CentOS6（ホスト） 4Core, MEM:32G, HDD:300G CentOS7（ゲスト。こちらで計測しております。） vCPU *1, MEM:4G, HDD:40G 容量が少なかったため、btrfsのベンチマークが終わった後、zfsにファイルシステムを変更し検証をしております。 ### zfsの
Linuxのfsckを使ってファイルシステムを高速化してはいけません！！ : うつ病けんけんのFedora/Linux日記
うつ病けんけんのFedora/Linux日記 うつ病、双極性感情障害を抱えたけんけんのFedora、FreeBSD勉強日記。 Linux、Unixのデスクトップ用途として使うためのメモを書いています。 since 2006年2月16日(木) ブログネタ：Linuxに関する運用 に参加中！ はじめに 今回は、ファイルシステムの高速化、最適化を紹介したいと思います。と、言ってましたがしてはいけません。そもそもfsckを気軽にするものではないということみたいです。確かに私の経験談では、Linux起動しなくてエイヤ！！って実行して起動出来た事はありますが、それは運が良かっただけだそうだ。昨今のジャーナリングファイルシステムだからってもおあるかもとかですが… 本当に何も手がなくてデータがなくなってしまうことを覚悟してするものだとか。まあLinuxデスクトップな使用ならホームパーティションバックアップ
/usr/local とは何なのか - 破棄されたブログ
ご用心: この記事を鵜呑みにせず、末尾に記載された一次ソースを確認してください。 ソースからソフトウェアをビルドしてインストールするときに使う /usr/local ディレクトリだけど、/opt ディレクトリとの住み分けとか、 そもそも標準はどうなっているのかとか、まともに知らんかったので Filesystem Hierarchy Standard を確認してみた。 /usr/local は何をすべきところなのか？ 他のホストと共有されない 既存のシステムの破壊防止 FHS 準拠のソフトウェアをインストールする /usr/local ディレクトリ下自体が FHS 準拠になる /usr/local ディレクトリは、システム管理者がソフトウェアをローカルにインストールするために用いる。 /usr/local ディレクトリとして隔離されるため、同名のファイル名で既存のファイルを上書きするなどして
/tmpと/var/tmpの仁義無き戦い - Qiita
課題 /tmpと/var/tmpどっちも大体一緒だからいいんじゃないかと思って/tmpにファイルをつくろうとしたら、プログラムが使用するものは/var/tmpにと叱られた。確かに、基幹系システムのディストリビューションだと何故か/var/tmp派の人が多かった気がする。じゃあ、linux系特有の宗派の問題なのか？と思い調べてみた。 何が他のディレクトリと違うか 通常のディレクトリは、基本的にはファイルは削除しない限り消えない。 /tmpに関しては再起動するとファイルが綺麗さっぱり無くなる。 /var/tmpは再起動しても消えないがいつの間にかファイルが消えることがある。 うーん、やはり使用してきたディストリビューションのルールか、業務の慣例的なルールなのかなぁ。 やはり/tmpと/var/tmpは宗教論争なの？ そういうわけではないらしい。FHS(Filesystem Hierarchy
Linux の ext4 ファイルシステムで間違って上書きしたファイルを復旧させた - 鈴木うどんの横須賀おもしろ生活
結論 ext4magic 最高！！！！１１１ やったこと % ext4magic “デバイス名に” -r -a “このunixtimeから” -b “このunixtimeまで存在していた” -f “このファイル名のファイルを復旧する” 実例 /dev/md0 上の昨日の20:00から20:30の間まで存在していた udonchan/backup.tar を復旧させたい % ext4magic /dev/md0 -r -a $(date -d "-1day 20:00 +%s") -b $(date -d “-1day 20:30 +%s) -f "udonchan/backup.tar" どうしてこうなった 年末なので OSX をクリーンインストールしようとして ~ をバックアップしたが間違って上書きして消した。 具体的に？ ~ をサーバ上にバックアップするぜ % tar cf -C /U
Linuxでうっかりrm -rfしちゃったけど復活出来たよー＼(＾o＾)／ - y-kawazの日記
サーバのファイル整理作業をしていたところ…、 間違えてrm -rfしてしまった！ ぎゃーバックアップもねー！ 長いこと生きてたらこんな経験の1度や2度はありますよね？ えぇ、ついさっきやらかしちゃいましたｗｗオワタｗｗｗ 速攻「rm 復活」とか「rm 取り消し」とかでググッたねｗ、したらmcってプログラムのUndelete機能使えばよいって情報が出てくるが、どうやらこれext2じゃないと使えないっぽいぞ…、うちext4だ。 混乱。以下ターミナルのヒストリーより実況。 ## こーいうときはまずあれだ、現場保存！ ## まずは今いるパーティションを確認 # df -hT Filesystem Type サイズ 使用 残り 使用% マウント位置 /dev/sdb2 ext4 193G 6.9G 176G 4% / /dev/sdb1 ext3 194M 22M 163M 12% /boot /d
Linux ファイルシステムにおけるバグ傾向
Linux には複数のファイルシステムがあります．これらには，仕様としての機能差の他に，品質・安定度に関して大きな差があると考えられています． 今回は，そのあたりを定量的に分析した論文をご紹介． A Study of Linux File System Evolution [キャッシュ] https://www.usenix.org/conference/fast13/study-linux-file-system-evolution 調査の対象は，XFS/Ext4/Btrfs/Ext3/Reiser/JFS の 6 つのファイルシステム．これらについて，Linux 2.6.0 (Dec ’03) から 2.6.39 (May ’11) の間に取り込まれた 5,079 個のパッチを分析しています． パッチの種類 まず，パッチを次の 5 種類に分類しています． Bug バグの修正． Reli
Linuxのstableカーネルにext4をぶっ壊すバグが発見される
[Phoronix] EXT4 Data Corruption Bug Hits Stable Linux Kernels このバグは、3.6.2でもたらされ、以前の安定版カーネルにもback-portされているので、3.4の最新の安定版カーネルにまで影響が及ぶらしい。 Theodore Ts'oによれば、この問題は、カーネルを短期間で二度正常にリブートすることで起こるのだそうだ。そのため、一般の普通のディストロを使っている利用者は、まずこのバグに出くわすことはない。しかし、サスペンドやハイバネートのかわりにリブートを使うラップトップ利用者や、カーネル開発者には、容易に問題が起こりうるのだとか。 なんだかだいぶ反響があるので追記。Theodore Ts'oのメールより LKML: Theodore Ts'o: Re: Apparent serious progressive ext4 da
フレキシブル制作システム ソースプログラム公開
挿入削除機能付きファイルシステム 概要 現在のパーソナルコンピュータでサポートされている汎用的なファイルシステムでは、ファイルへの操作は、読み出し(read), 書き込み(write), シーク(seek)などのシステムコールにより行われています。そのため、映像などの大きなサイズのファイルの一部分のデータに対して挿入や削除を行いたい場合、それ以降のデータに対してもコピー動作が必要となるため、操作の完了までに時間がかかるという問題があります。 挿入削除機能付きファイルシステムは、ファイルに対する挿入および削除を高速に行うことを目的に開発したファイルシステムです。挿入削除機能付きファイルシステムは次の操作を高速に行うことができます。 ファイルに対するブロックの挿入 ファイルに対するブロック単位の削除 ファイルの一部分のブロックを他のファイルへ移動 ブロックのサイズはデフォルトでは4Kバイトにな
lessfs を試す
Linux Jornalのコラムに惹かれてlessfsを試してみたくなった。 ちなみに、lessfsは「Deduplication」(ファイル重複除外?)を目的としたfuse。 他にも暗号化機能、レプリケーション機能(MasterSlave)や圧縮ストレージ機能もあって、 圧縮フォーマットにはLZO、QuickLZ、BZipその他色々あるらしい。 Deduplication自体は、一部で熱いらしいBtrfsやZFSにも搭載されている。 ２つとも色々と問題があって、あまり簡単には導入出来ない。 そこでlessfsの登場。 fuseなだけに他のfuse系同様のボトルネックはあるものの、 アーカイブ用途ならパフォーマンス問題は少ないと思われる。 おまけでLinux Jornalでは、Opendedup も触れられていた。 こっちは、Javaかつシステムリソースの要求スペックが高いので論外。 le
Ubuntu Gutsy(7.10)でuswsuspのスワップ「ファイル」からの復帰ができなかった件の対処と、ファイルへの書き込みの流れ - 試験運用中なLinux備忘録・旧記事
uswsuspでは、復帰時にinitrd(初期RAMディスク/initramfsとも呼ぶ)の中に含まれるresumeコマンドが呼ばれ、その際には、initramfs内の/etc/uswsusp.confが使用されるということが分かり、解決の糸口となった。 以下、スワップファイルの作成からそのファイルへメモリイメージを書き込んで休止し、その後復帰ができるようにするまでの作業の覚え書き。今回も、端末を使用しない方向で作業を進める。*1 なお、この記事では、/swapfileという場所にスワップファイルを作成するものとする。場所や名前は好みに応じて変更。 ファイルとしてのスワップの作成 uswsuspのファイルへのメモリイメージ(「スナップショット」と呼んでいる)の保存には、ファイルとして作成したスワップがそのまま使える。その作成方法の例は以下。 「アプリケーションの実行」で、以下の内容を1つず
スラッシュドット・ジャパン | swap割り当てルール、やっぱりRAMの２倍？
ストーリー by hayakawa 2008年10月04日 8時19分 個人的にはスワップなしで構築することが多くなってきましたが 部門より 過去10年、自分より知識のある人たちに「swapにはどれだけ割り当てればいい？」と聞くと、皆同様に「RAMの2倍に設定しておいて、あとは考えなくていいよ」と答えてくれた。確かに昔は深く考えるようなことでもなかったように思う。RAMが128MBならswapは256MBにしておけばよかった。でもいま自分のノートPCに載っている4GBのRAMを考えると、8GBのswapって本当に必要？と考えてしまう。 デスクトップのswapには本当はどれ位割り当てるのがいいのだろうか？「RAMの2倍」ルールは今も当てはまるだろうか？このルール、これからもずっと有効なのだろうか？ SWAPに8GB割り当てるのに全く問題がないHD容量があればいいが、例えばUMPCのようにメモ
Linux: Skip or Bypass a Fsck - nixCraft
Q. I know how to force fsck on the next reboot using /forcefsck file. But how do I skip or bypass a fsck on reboot? How to stop a FSCK from prompting or running automatically when rebooting server. A. It is recommended that you run a fsck on reboot if required. Usually, system automatically determines if fsck required or not. Generally, fsck is run automatically at boot time when the system detect
仙石浩明の日記: NFS と AUFS (Another Unionfs) を使って、ディスクレス (diskless) サーバ群からなる低コスト・高可用な大規模負荷分散システムを構築する
ディスクレス (diskless) サーバを多数運用しようとしたときネックとなるのが、 NAS (Network Attached Storage) サーバの性能。 多数のディスクレスサーバを賄え、かつ高信頼な NAS サーバとなると、 どうしても高価なものになりがちであり、 NAS サーバ本体の価格もさることながら、 ディスクが壊れたときの交換体制などの保守運用費用も高くつく。 それでも、多数のハードディスク内蔵サーバ (つまり一般的なサーバ) を 運用して各サーバのディスクを日々交換し続ける (運用台数が多くなると、 毎週のようにどこかのディスクが壊れると言っても過言ではない) よりは、 ディスクを一ヶ所の NAS にまとめたほうがまだ安い、 というわけで NAS/SAN へのシフトは今後も進むだろう。 そもそも CPU やメモリなどとハードディスクとでは、 故障率のケタが違うのだから
JF: Linux Kernel 2.6 Documentation: ramfs-rootfs-initramfs.txt
Linux Kernel 2.6 Documentation: /usr/src/linux/Documentation/filesystems/ramfs-rootfs-initramfs.txt filesystems/ramfs-rootfs-initramfs.txt ramfs, rootfs, initramfs の説明 [プレインテキスト版] 原著作者: Rob Landley <rob at landley dot net> 翻訳者: Akira YOSHIYAMA <yosshy at debian dot or dot jp> バージョン: 2.6.18 翻訳日時: 2007/01/28 ramfs, rootfs and initramfs October 17, 2005 2005年10月17日 Rob Landley <rob@landley.net> =====
最新のFedoraとUbuntuではrelatimeもnoatimeもいらない？ - 科学と非科学の迷宮
(2008/6/14 13:35 追記) 続き書きました http://d.hatena.ne.jp/shiumachi/20080614/1213415948 要約 前回の検証で、マウントオプションに noatime や relatime をつけても オプションなしのときと性能が変わらないという結果を報告しました*1。*2 しかし、調査の結果、Fedora8、Fedora9、Ubuntu8.04 LTS などでは カーネルのコンパイルオプションに default_relatime がついていることが 判明しました。 そのため、各ファイルシステムに noatime や relatime オプションを つける必要はなくなっています。 relatimeについての調査 relatime マウントオプションについて調査していたところ、 LWN.netに atime 周りの議論のまとめ記事が掲載され
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
linux swap deamon
An Interview With Linus Torvalds: Linux and Git - Part 1 30 Years Of Linux