ファイル書き込みをするプログラムで気をつけた方がよいこと | IIJ Engineers Blog

この記事について この記事では、ファイルに書き込みを行うプログラムを実装する時の注意点について説明します。 ファイル書き込みは、プログラミングにおいて比較的よく利用される機能でありながら、実装時に注意していないと、システムクラッシュ（意図しない電源の喪失や OS のクラッシュ等）後にファイル上のデータが整合性を失う可能性、平たく言えば、データが破損する場合があります。 今回の主な内容はトランザクションに関連する事柄で、ご存知の方からすると当たり前と思われることだと思われますが、執筆者がプログラミングの勉強を始めて以降知らない期間が長かったことと、他にもご存知ない方がある程度いらっしゃるのではないかと思ったため、このように記事にさせていただきました。 また、ここで説明する注意点は、クラッシュ後にデータの整合性が重要でない場合は、気を付ける必要がないものであることを先に書いておきます。 先にこ

[crosscrow]

RDBは偉大。途中に出てくるSQLiteの件は踏みそうなので気をつけとこ。

[daira4000]

別ファイルに書いてからmoveしろって昔聞いた。この記事のAtomic renameが同じ意味かな。

[mangakoji]

最近はfsyncを「永続性の保証」って説明するのか、昔はキャッシュ フラッシュって言ってたけどな。ちょっと面食らった。▲これにファイルロックまで絡むんだよな。考えたくない▲メモリにゴミが落ちるのは考えないのか

[sin20xx]

ファイル単体の動きとしては正しい。いや、全くもって正しいのだが、その整合性を確保する処理の実装が根本的に地雷事例なのでそのやり方だとRDBでも事故ってしまい、もはやファイル書き込みの事例として見れないよ…

[circled]

90年代のSolarisやLinuxの再起動や停止前のおまじない「syncコマンドを3回叩く」が記憶に甦る。当時はOSですら信用してなかった感。

[kazkun]

なんかさ、レイヤがちくはぐなんだろうな。そもそもその理屈ならdbだっていとも簡単に壊れる。upsとか、ライトキャッシュバッテリとか、raidとかウェアレベリングとか、考えることはいっぱい残ってる。

[yarumato]

“write完了＝書き込みデータをOSに引き渡し完了。fsync完了＝OSがディスクに書き込み完了。open→write→fsyncの実装はアトミックじゃないから、クラッシュの場合データの整合性とれない可能性。アトミックにする例：rename”

[tsz]

ファイルシステムが信頼できること前提。

[HHR]

fcyncだけじゃ足りない問題。データ指向アプリケーションデザインの７章の参考文献にもあった

[ryuichi1208]

安全なファイル書き込み方法は難しい

[daaaaaai]

たいへん

[dorapon2000]

“自分で実装するのは大変そうなので、クラッシュ後のデータの整合性が重要な場合は、既存のデータベースプログラムを利用すると良いかもしれません。”

[tmatsuu]

fsync(/dir/)は意識したことなかったな。

[rryu]

rename()も途中でクラッシュしたら壊れるような気がするが、もはや全てジャーナルファイルシステムで要は方法2でクラッシュからガードしているから大丈夫なのか。

[bluepost69]

DBのありがたみがわかる記事

[JULY]

でも、現実問題として、方法２に書かれているような動きは、今どきのファイルシステムではやっているので、ユーザランドで気にするのは、それこそ DBMS を作るときぐらいじゃないかなぁ。

[tettekete37564]

古典的な手法だが、重要なファイルはテンポラリに書き出して rename で上書き、が基本。これは古典的な　FS における rename が FAT(FileAllocationTable ）上のインデックス書き換えで実現されており。アトミックな挙動であるから

[asuka0801]

fsync使えってのは分かるのだけど、その例だと素直にRDB使っとけって感じになってしまうな。

[kkobayashi]

テンポラリファイルに書き出してからリネーム、はお手軽なテクニックなのでよく使う。システムクラッシュとまで行かなくてもプログラムの異常終了とか競合とかあるしね。まぁちゃんとやりたいなら素直にDBMS使おう

[tessy3]

イラレで上書き保存するときも、実際は別のファイルを作ってから、元のファイルにリネームしているしているみたいだしなあ。

[mak_in]

IO全般が同時実行で死ぬ。一個ずつ順番に書き込む必要あり→シングルトン。待ってると遅いのでキューなどの仕組みも。書き込んでる最中に外から読み取られても良い仕組みも。…程度の理解。C#はHttpClientも近いので罠

[fashi]

システムクラッシュした時の影響が通常の書き込み作業が途中で終了しただけで済んだという前提でこれだからな…

[ya--mada]

sqlite あれ？嗚呼、やってた…、な。

[megomego]

バッチ処理の結果をファイル出力するとかそういうのではなかった

[zakinco]

前提の論文読むのダルい。

[yoiIT]

なんかこういうの読んでるとすごく懐かしい感じがするの何でだろ〜

[m50747]

ファイルシステムの選択次第で耐障害性は異なる気がするけどどうなんどろう。

[lHMaUyzK]

openがあってcloseがないのが気になりました

[hasiduki]

大昔にFTP公開ディレクトリに直で書き出してやらかしたこと思い出した！！！！！リネーム！！！！！

[apipix]

ふむふむ

[perl-o-pal]

人類にファイル操作は早すぎる。

[nakamura-kenichi]

DBでやれｗ。

[wwolf]

いにしえの掲示板cgiとかでやってたやつだ