[B! Linux][file] yukimori_726のブックマーク

そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）

ハートビーツ最年長エンジニアの滝澤です。以前、弊社CTOにシニアおっさんエンジニアから若手エンジニアに向けて何か書いてくれと言われた気がしたので、アトミック（atomic）なファイル操作について3編に分けて紹介します。この内容は弊社の社内勉強会で話した内容をまとめ直したものです。そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）←今回そのファイル、安全に作成できていますか？（アトミックなファイル操作：中編）そのファイル、安全にロックできていますか？（アトミックなファイル操作：後編）今回は「みなさん、安全にファイルの更新ができていますか？」ということについて、考えてみましょう。あなたはあるサーバ上のファイルの更新を依頼され、もらったファイルをサーバ上でコピーして上書きしました。しばらくして、データに異常が発生したので調べて欲しいと言われました。さて、何が起き

yukimori_726 2016/11/01

リンク

Sparse File (スパースファイル) の仕組み | harasou.github.io

最近かなり流行っている「Linux プログラミングインタフェース」を読んでたら、lseek(2) の解説で Sparse File (スパースファイル) の話が出てきたので、実装が気になって調べてみた。 4 章ファイル I/O:統一されたインタフェース 4.7 ファイルオフセットの変更: lseek() ファイル末尾を越えた位置へシークするとどうなるでしょうか? そしてその位置で I/O を実行すると? … (略) 意外に思われるかもしれませんが、書き込みは可能なのです。 refs: https://www.oreilly.co.jp/books/9784873115856/ Sparse File とは簡単に言うと、内部に NULL のかたまり(ファイルホール)を含むファイルのこと。こんなやつ。 1 2 # ls -shl sparse_file 4.0 K -rw-r-

yukimori_726 2016/03/31

リンク

シンボリックリンクとハードリンクの違い - Qiita

お願い図が崩れるため、PCで見てください。ディレクトリ・所属するファイルのファイル名とiノードを記録するファイル ------directory------ -------iノード-------- ---------実体--------- | -----file------ | | --------------- | | --------------- | | | ファイル名 | | | | 001 | | | | aaa | | | | aaa |===========> | |===========> | | | | | iノード番号 | | | | | | | | | | | | 001 | | | | | | | | | | | --------------- | | --------------- | | --------------- | | -----file-----

yukimori_726 2016/03/07

linux
file

リンク

”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog

大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog を書きましたが、awk file > file より cat file|awk > file が速い環境は稀なようなので、私の環境でなぜ cat file|awk > file のほうが速いのか調べてみました。プロセススケジューラが関係しているようです。 ↑はPerf + Flame Graphs で、awk file > file 実行時のコールスタックと所要時間を可視化したものです。結論(たぶん) SSDの暗号化・復号をカーネルスレッドで行なっているのと、プロセススケジューラが awk とカーネルスレッドを同じ CPU にスケジューリングしていた(他に空いている CPU があるのに)。 awk file > file では暗号化データを復号するカーネルスレッドと awk のプロセスをプロセススケ

yukimori_726 2015/08/05

リンク

PostgreSQL on EXT4, XFS, BTRFS and ZFS

The document discusses Linux KVM (Kernel-based Virtual Machine) and how it enables full virtualization on x86 hardware. KVM uses Intel VT-x and AMD-V virtualization extensions to allow a Linux kernel to function as a hypervisor. Guest virtual machines see a bare metal interface while the host kernel manages scheduling and resource allocation. Qemu is used as a processor emulator to add missing gue