btrfs? Dropboxさん, あなたが見ているのはext4ですよ - Gentoo metalog
注意: この記事の内容はわりと危険な部分があります. 使いたくなってもよく注意して理解して使ってください わたしもまだ大して実動テストしてません. Dropboxの中身が消失したり, FSがこわれたり, なんかおもしろいことになっても責任は一切とれません. 技術的な観賞用に留めるのが無難です はじめに Dropboxがext4しか対応しなくなるらしいですね. btrfs愛用者としてはハチャメチャめんどいです. ということで, なんとかしたくなりますね. 1つの方法として, 下の記事のようにbtrfs上にext4のイメージファイルを作ってあげるという方法があります. qiita.com ただこの方法だと, kernelの中で無駄にext4をDropboxのためだけに動かすことになりますね. ext4のmoduleなんか置いておきたくない. そう思いませんか システムコールの結果を書きかえる
リモートマシンのルートファイルシステムをぶっ飛ばした話 - 覚書
はじめに 表題の通り、新年早々やらかしました。備忘録として、あるいは、もしかして誰かの役に立つかもしれないので、事象発生から復旧までの流れをまとめたものを簡単に書いておきます。 1/4 朝: 移動 締め切りが非常に厳しい仕事をかかえる中、自宅から300kmほど離れた場所に移動。作業用マシンにはリモートアクセスできるので仕事には支障なし。の、はずだった。 1/4 夕方: 破壊 目的地に着いて、もろもろ落ち着いたので仕事を開始。テスト用のパーティションに書き込みをする簡単なプログラムを動かしていた。ここでタイプミスしてルートファイルシステムの先頭1GBくらいにランダムなデータを書いてしまうことにより、ぶっ飛ばした。即死はしなかったが、dmesgを見ると案の定カーネル(の中のファイルシステム)のバックトレースが出た上で、ルートファイルシステムが読み出し専用マウントされていた。 余談だが、ここでパ
知っておきたいLinuxファイルシステムの概念 - Qiita
ファイルシステムとは ファイルシステムとは、データとメタデータをある構造に従ってストレージデバイス上に格納したものを指す。 ファイルシステムの作成には mkfs(8) コマンドを使用する。 全体アーキテクチャ 以下の図の通りである。詳細は以下で説明する。 ファイルシステムの構造 ここでは、古典的ファイルシステムであるext2をベースに説明する。 ファイルシステム内で領域を割り当てる基本単位を論理ブロックという。ディスクデバイスの連続する物理ブロックから構成される。論理ブロックサイズ1024,2048,4096バイトのいずれかを選択できるが、これは mkfs(8) のパラメータとして与える。 ディスク上では、以下のように格納される。※ext2の構造はブロックグループごとに分かれており、もう少し複雑になっている。 ブートブロック・・・OSを起動する情報を保存する。すべてのファイルシステムでブー
libfuse で Hello World !
GlusterFS でも利用されている FUSE を使って、Hello World を試して見た。 今回は libfuse を使って、仮想ファイルシステム上のファイルを cat すると Hello World ! が出力されるまで。 $ cat fuse/hello Hello World! FUSE (Filesystem in Userspace) FUSE は、linux 2.6.14 で追加されたカーネルの機能で、ファイルシステムをユーザ空間の プログラムで実装できる仕組み提供する。これにより、カーネルコードを修正することなく、 ユーザ空間で独自のファイルシステムを作成できるようになる。 Wikipedia によると、Linux だけでなく、*BSD や MAC とかでも実装があるらしい。 環境 確認はいつものごとく Vagrant で。 Vagrant.configure("2"
dockerでgoofys環境を作ってS3をマウントしてみた - Qiita
dockerでgoofys環境を作ってハンズオン的にS3をマウントして見ました。 その手順と使ってみた感想を紹介します。 ハンズオン手順 docker-compose作成 version: '2.1' services: goofys-test: container_name: goofys-test devices: - /dev/fuse cap_add: - mknod - sys_admin image: serioja90/goofys volumes: - "~/.aws:/root/.aws" environment: - REGION=ap-northeast-1 - BUCKET=bucket_name - MOUNT_DIR=/mnt/s3
ドワンゴがRustで分散ファイルシステムを作っているらしい
第2回 大量トラフィックを支えるインフラ～独自プロトコル，ファイルシステムの実装もいとわない！～ ドワンゴが分散ファイルシステムを作っているというニュースを見た. しかもRustで. ニュース以上のことも知りたくなったがツテがないし, あったとしても教えてくれるわけがないので外側から推測することにした. 実は分散ファイルシステムも独自に開発しました。もともと既存のオープンソースのファイルシステムを使っていたのですが，それだと期待する性能が出ないことがわかり，独自に調査開発を進めることにしました。 Rustという言語で，ガベージコレクションがなく，C++にメモリ安全性の機能を付加したようなものです。ニコニコの動画・生放送の配信基盤開発ではErlangを使うことが多いのですが，レイテンシを細かく制御したい分散ファイルシステムの分野では，どうしてもガベージコレクションが気になってきます。たしかに
「SDカード向け」ではないSDCardFSの正体 - Gentoo metalog
最近GoogleがSDカード向けにファイルシステムを作っている, というような話がありました. juggly.cn 記事中に ファイルシステムのネーミングからして、SD Card FS は SD / Micro SD カード専用のファイルシステムだと見られます。 とありますが, sdcardfsはそんな文字通りに「SDカードをターゲットにした」ものではありません. そもそも アドバンテージとして挙げられたのは一連のファイル操作のシステムコールをユーザー空間を行き来することなく実行できることで、一連の命令はカーネルとハードウェアの間でダイレクトにやり取りされ、これにより、コンテキストスイッチの影響を受けることがなくなり、ファイル操作のパフォーマンスが大幅に向上するそうです。 この部分がなんか変です. 普通「ユーザー空間を行き来」なんてしません. なにか間違って伝わっているような気がします.
Diving into SDCardFS: How Google's FUSE Replacement Will Reduce I/O Overhead
Several months ago, Google added something called “SDCardFS” to the official AOSP branches for the Linux kernel. At the time, the move was noticed only by some kernel developers, but otherwise flew under the radar of most users. No surprise there considering the fact that most users, including myself, do not really know what goes on under the hood of the Android OS and its kernel. However, the mos
作成したファイル（struct dentry *）の読み書き用バッファをプロセス等固有に持たせるめも - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
たとえば、debugfsのディレクトリとファイルをプロセス毎に作って、ファイルの中身はプロセスごとに変えたいってことをしたい場合にどうするかというメモです。 foobarという機能がdebugfsのルートディレクトリにディレクトリを作成して、piyoというプロセスはfoobar/piyo、poyoならfoobar/poyoとディレクトリができます。で、ファイルはfileという名前で固定されているけど、内容は個々に違う感じです。 /sys/kernel/debugfs/foobar --- /piyo/file |-- /poyo/file piyo/、poyo/は任意のタイミングで作成できて、foobarはstart_main()の時に初期化の関数を呼んで作るものとします。 foobar用に1つだけファイルを作成するならバッファは一つで良いのでファイルのdentryはこんな感じで作れます。
Writing a FUSE Filesystem: a Tutorial
Joseph J. Pfeiffer, Jr., Ph.D. Emeritus Professor Department of Computer Science New Mexico State University pfeiffer@cs.nmsu.edu Version of 2018-02-04 One of the real contributions of Unix has been the view that "everything is a file". A tremendous number of radically different sorts of objects, from data storage to file format conversions to internal operating system data structures, have been m
GlusterFS技術情報
GlusterFS に関する技術情報を掲載しています。 ここに記載の情報は、基本的には、GlusterFS 3.3をベースとしています。GlusterFS 3.4での機能拡張予定については、こちらを参照ください。 「Red Hat Storage Server」は、GlusterFSの安定版をベースとしたレッドハットの商用ディストリビューションです。Red Hat Enterprise Linuxを同梱したソフトウェアアプライアンスとして提供されます。 Red Hat Storage Serverの利用にあたっては、事前に下記の技術情報をご確認ください。 Red Hat Storage Server 2.0 Supported and Recommended Workloads サポート/推奨される使用方法、および推奨されない使用方法が記載されています。 Red Hat Storage S
やたーはてなダイアリーファイルシステムできたよ＼(^o^)／ - 川o・-・）＜2nd life
はてなダイアリーが AtomPub で編集できるようになったので、早速 fuse を使ってファイルシステムを作ってみました。こんな感じに使えます。 http://rails2u.com/tmp/diary_fuse/fuse.htm (動画) /create に保存すると現在時刻で作成 /20080820101010 など、エントリーを編集可能。保存で更新。 rm するとエントリーを削除 /\d{14} 的なファイル名で保存すると、その時刻のエントリーを作成 などなど。Ruby の FuseFS を初めて使ってみましたが、結構簡単にファイルシステムをいじれて便利ですね。ちなみに本文の改行周りがおかしくなるというアレな挙動をして、全然実用できませんが、AtomPub 使うとこんな事もできるよーという例として見ていただければ。 ソースコードは以下です。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - microsoft/VFSForGit: Virtual File System for Git: Enable Git at Enterprise Scale
Overlay Filesystem
GitHub - dadoonet/fscrawler: Elasticsearch File System Crawler (FS Crawler)
leofs.org