第18回 Linuxカーネルのコンテナ機能 [7] ─ overlayfs | gihyo.jp
今回からはLXCがコンテナイメージを置く領域に使えるいろいろなストレージバックエンドを利用し、LXCを便利に使う方法を紹介していきます。 LXCでいろいろなストレージバックエンドを利用する方法を紹介する前に、今後コンテナでの利用が増えそうな、3.18カーネルで新たに追加されたoverlayfsについて紹介しておきましょう。 タイトルは「Linuxカーネルのコンテナ機能」としていますが、これまでの機能と同様にoverlayfsもコンテナ専用として使う機能ではありません。名前空間やCgroup以上にコンテナ以外でさまざまなシーンで使えそうですね。 overlayfsとは overlayfsはunion filesystemの実装の1つで、ディレクトリを重ね合わせて1つのディレクトリツリーが構成できます。 話題のDockerが持つ特長として、よくコンテナイメージの差分管理ができることが挙げられま
![第18回 Linuxカーネルのコンテナ機能 [7] ─ overlayfs | gihyo.jp](https://cdn-ak-scissors.b.st-hatena.com/image/square/4e1cdfc0d9f2e28c5db30fbad836649b42c1ff2a/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fgihyo.jp%2Fassets%2Fimages%2FICON%2F2022%2F1998_linux_container2022.png)
Linus Torvalds、HFS+に激怒
CVE-2014-9390 aka "Git on case-insensitive filesystems" I did not give the… gitが影響を受けた、HFS+で、一部の文字を区別しなかったり無視したりする問題に対して、Linusが吠えている。 マジで、HFS+はたぶん最悪のファイルシステムだな。クソすぎるぜ。NTFSもutf8の正規化で似たような問題（/の非正規化された表現を使用）があったが、まあ、今は修正されたんだろうよ。OS Xの問題は根本的すぎる。 そりゃ、古いさ。そりゃ、データ保護がクソすぎるってのはあるさ。だが、そういうのは、単に「すげーファイルシステムじゃない」って問題だ。「自分のケツすら拭けないマヌケによって設計された信じがたいクソ」ってわけじゃない。 HFS+の恐ろしさは、すげーファイルシステムではない、ということではない。いいアイディアがあると信じ
/tmp と /var/tmp の違い - しょぼんメモリ （´・ω・｀）
どちらも一時ファイルを保存するディレクトリだけれど、ちゃんと説明があったのでメモ。 /tmp ・再起動するとファイルは消える ・定期的に削除される（10日） /var/tmp ・再起動してもファイルは消えない ・定期的に削除される（30日） CentOS 6.xの場合・・・ 再起動後の処理は、/etc/rc.d/rc.sysinit で行われる。 定期的に削除する処理は、/etc/cron.daily/tmpwatch で行われる。 これらの用途は、FHS（Filesystem Hierarchy Standard(ファイルシステム階層標準）に記載されている。 Filesystem Hierarchy Standard http://www.pathname.com/fhs/ FHS 2.3によると・・・ /tmp：P.15 The /tmp directory must be made
UnionMountとUnion-type Filesystem(1) - O'Reilly Japan Community Blog
はじめに 平成21年春のLinux Storage & Filesystems Workshopで、LinuxカーネルにUnionMountという機能を実装することについて話し合われました。 UnionMountとは、かつてのSunOSに実装されていたTranslucent（Transparent）FilesystemやBSDのunion mountに相当する機能で、すでにディスクをマウントしているディレクトリ（マウントポイント）に別のディスクを重ねてマウントし、1つのマウントポイントから2台のディスクを同時に使用可能にするものです。例えばLiveCD（HDDへインストールせずにCD/DVD/FlashのみでLinuxを起動し、使用可能にする環境）などではこの機能を積極的に利用しています。 この記事ではLinuxカーネルにこの機能を実装するこれまでの試みと、前述の話し合いの結果としてLin
EXT4 vs XFS vs Btrfs vs ZFSをfioでベンチマークを取ってみました。 - Qiita
概要 CentOS7のデフォルトのファイルシステムがXFSとなりました。 mkfsコマンドでも、minix, xfs, btrfsが使えるようになりました。 そこで気になるファイルシステムを色々調べ、ベンチマークを自分なり取ってみました。 多少なりともご参考になればと思います。 色々なファイルシステム こちらをご参考ください。 http://qiita.com/sion_cojp/items/c8e015db39ddbf43012e それぞれファイルシステムを作ってみる 今回の環境は CentOS6（ホスト） 4Core, MEM:32G, HDD:300G CentOS7（ゲスト。こちらで計測しております。） vCPU *1, MEM:4G, HDD:40G 容量が少なかったため、btrfsのベンチマークが終わった後、zfsにファイルシステムを変更し検証をしております。 ### zfsの
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
Filesystem Hierarchy Standard - Wikipedia
Filesystem Hierarchy Standard（ファイルシステム・ヒエラルキー・スタンダード、FHS、ファイルシステム階層標準）は、Linuxを含むUnix系オペレーティングシステム (OS) での主なディレクトリとその内容を定めたものである。大部分において、BSD系のディレクトリ階層を基にして拡張し定式化している。 主要ソフトウェアおよびハードウェアベンダーからなる非営利組織Linux Foundationが保守管理しており、HP、レッドハット、IBM、デルといったベンダーが参加している。 2020年11月(2020-11)現在の最新版は3.0で、2015年6月3日に発表された[1]。 多くのLinuxディストリビューションはFHS準拠を方針として宣言し、FHSにしたがっている[2][3][4][5]。 もともと、UNIXやUnix系OSには、/etcや/binや/usrなど
/usr/local とは何なのか - 破棄されたブログ
ご用心: この記事を鵜呑みにせず、末尾に記載された一次ソースを確認してください。 ソースからソフトウェアをビルドしてインストールするときに使う /usr/local ディレクトリだけど、/opt ディレクトリとの住み分けとか、 そもそも標準はどうなっているのかとか、まともに知らんかったので Filesystem Hierarchy Standard を確認してみた。 /usr/local は何をすべきところなのか？ 他のホストと共有されない 既存のシステムの破壊防止 FHS 準拠のソフトウェアをインストールする /usr/local ディレクトリ下自体が FHS 準拠になる /usr/local ディレクトリは、システム管理者がソフトウェアをローカルにインストールするために用いる。 /usr/local ディレクトリとして隔離されるため、同名のファイル名で既存のファイルを上書きするなどして
Linux Storage Filesystem/MM Summit 2014からの便り
Linux Storage Filesystem/MM Summit 2014からの便り：Linux Kernel Watch（1/2 ページ） お久しぶりです、Linux Kernel Watchが帰ってきました。3月に行われた「Linux Storage Filesystem/MM Summit 2014」の主なトピックを紹介します。 皆さん、お久しぶりです。私は今ボストンで、米レッドハット常駐という立場でRed Hat Enterprise Linux（RHEL）開発に携わっています。 今回はサンフランシスコ近郊のナパバレーで2014年3月24～25日に行われた「Linux Storage Filesystem/MM Summit 2014」（以下LSF/MM）の中から面白かったトピックをピックアップしてお届けしたいと思います。 LSF/MMはLinux Foundation主催で行
「Linuxファイルシステム技術解説」関連の最新 ニュース・レビュー・解説 記事 まとめ - ITmedia Keywords
Linuxファイルシステム技術解説（7）： 64bitファイルシステム XFSの実装 XFSは、巨大ストレージでの利用を視野に入れた64bitファイルシステムである。膨大な領域を効率的に利用するため、XFSにはさまざまな仕組みが組み込まれている。（編集局）（2004/8/24） Linuxファイルシステム技術解説（6）： JFSのファイル管理とジャーナリングの実装 AIXで生まれ、OS/2 WarpのソースがLinuxに移植されたJFS。そのファイル管理機構とジャーナリングがどのように実装されていいるのかを解説する。（編集局）（2004/3/30） Linuxファイルシステム技術解説（5）： 進化し続けるReiserFS Linux用ジャーナリングファイルシステムとしては古参ともいえるReiserFS。そのアルゴリズムや新バージョン「Reiser4」の機能について解説する。（編集局）（20
Linux の ext4 ファイルシステムで間違って上書きしたファイルを復旧させた - 鈴木うどんの横須賀おもしろ生活
結論 ext4magic 最高！！！！１１１ やったこと % ext4magic “デバイス名に” -r -a “このunixtimeから” -b “このunixtimeまで存在していた” -f “このファイル名のファイルを復旧する” 実例 /dev/md0 上の昨日の20:00から20:30の間まで存在していた udonchan/backup.tar を復旧させたい % ext4magic /dev/md0 -r -a $(date -d "-1day 20:00 +%s") -b $(date -d “-1day 20:30 +%s) -f "udonchan/backup.tar" どうしてこうなった 年末なので OSX をクリーンインストールしようとして ~ をバックアップしたが間違って上書きして消した。 具体的に？ ~ をサーバ上にバックアップするぜ % tar cf -C /U
最近のLinuxで有効になっているI/Oバリア機能と、RDBへの影響 | Unofficial DB2 BLOG
比較的新しいカーネルを採用したLinuxディストリビューションでは、ファイルシステムのI/Oバリア (I/O barrier)機能がデフォルトで有効になっています。例えばRedhat Enterprise Linux (RHEL) 6やSUSE Linux Enterprise Server (SLES) 11等はインストール直後の状態でext4ファイルシステムのI/Oバリアが有効になっているようです。 I/Oバリアは簡単にいうと、「バリア命令」の後で発行されたI/Oは、バリア命令の前に発行されたI/Oの後に必ず実行されるようにする仕組みです。つまりI/Oの順序（物理ディスクに反映される順番）をまもらせる仕組みといえます。 ファイルシステムにI/Oバリア機能が追加されたのは、ファイルシステムが不整合な状態になる可能性を減らすためです。 そもそも、急な電源断でもファイルシステムの不整合が起こ
Linuxでうっかりrm -rfしちゃったけど復活出来たよー＼(＾o＾)／ - y-kawazの日記
サーバのファイル整理作業をしていたところ…、 間違えてrm -rfしてしまった！ ぎゃーバックアップもねー！ 長いこと生きてたらこんな経験の1度や2度はありますよね？ えぇ、ついさっきやらかしちゃいましたｗｗオワタｗｗｗ 速攻「rm 復活」とか「rm 取り消し」とかでググッたねｗ、したらmcってプログラムのUndelete機能使えばよいって情報が出てくるが、どうやらこれext2じゃないと使えないっぽいぞ…、うちext4だ。 混乱。以下ターミナルのヒストリーより実況。 ## こーいうときはまずあれだ、現場保存！ ## まずは今いるパーティションを確認 # df -hT Filesystem Type サイズ 使用 残り 使用% マウント位置 /dev/sdb2 ext4 193G 6.9G 176G 4% / /dev/sdb1 ext3 194M 22M 163M 12% /boot /d
フレキシブル制作システム ソースプログラム公開
挿入削除機能付きファイルシステム 概要 現在のパーソナルコンピュータでサポートされている汎用的なファイルシステムでは、ファイルへの操作は、読み出し(read), 書き込み(write), シーク(seek)などのシステムコールにより行われています。そのため、映像などの大きなサイズのファイルの一部分のデータに対して挿入や削除を行いたい場合、それ以降のデータに対してもコピー動作が必要となるため、操作の完了までに時間がかかるという問題があります。 挿入削除機能付きファイルシステムは、ファイルに対する挿入および削除を高速に行うことを目的に開発したファイルシステムです。挿入削除機能付きファイルシステムは次の操作を高速に行うことができます。 ファイルに対するブロックの挿入 ファイルに対するブロック単位の削除 ファイルの一部分のブロックを他のファイルへ移動 ブロックのサイズはデフォルトでは4Kバイトにな
MongoDBをext3で使ったら死んだ · DQNEO日記
Linux File Systems MongoDB uses large files for storing data, and preallocates these. These filesystems seem to work well: ext4 ( kernel version >= 2.6.23 ) xfs ( kernel version >= 2.6.25 ) In addition to the file systems above you might also want to (explicitly) disable file/directory modification times by using these mount options: noatime (also enables nodiratime) We have found ext3 to be very
HDDが買えないならZFSを使えばいいのに
タイの洪水被害の影響でハードディスク（HDD）の価格が高止まりしている。パーツショップでの実売価格は急騰前の3倍程度にまで跳ね上がり、今でも2倍弱の価格をつけている。5000円台で2TバイトのHDDが買えた記憶が新しいユーザーにとっては買い控えたくなる水準だ。フラッシュメモリーによる半導体ストレージであるSSDの容量単価は下落する一方だが、HDDが買えないならSSDを使えばいいのに…と言えるほどSSDは安くない。 もちろん、データの増加は待ってくれない。記者の自宅には、主にファイルサーバーとして利用するLinuxサーバーがある。タイ大洪水以前に約7000円で購入した1Tバイトの2.5型ハードディスクをストレージに充てた。写真1枚が10Mバイト近くある今の利用環境では、みるみる空き容量が減っていく。どのコンテンツもときめくものばかりで、整理には限界がある。「では増設」と思い立っても、HDDは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Btrfsの基礎 part1 機能編
Linuxファイルシステムをまとめてみました - Qiita
http://blog.jippahitokarage.com/entry/2014/02/20/050020
Private Presentation
