PHPのcopy関数がファイルサイズ分のメモリを消費する件の対策 - hnwの日記

補足(2010/08/24 15:00)：rename関数について言えば、同一ファイルシステム上であればrenameシステムコールを利用するのでこの問題は起こりません。さらに蛇足ですが、ファイルシステムをまたがってrename関数を利用するとコピーしてから削除することになり、アトミック性を保証できないため、障害の原因にならないかどうかの検討が必要だと思います。 「AKIBA de: PHPのrename()関数はファイルシステム間で使うとメモリをバカ食いする」で指摘されている通り、PHPのcopy関数やファイルシステムをまたがってrename関数を使う場合に、PHPがファイルサイズと同じ大きさのメモリを消費してしまいます。環境によっては再現しないかもしれませんが、僕の手元のMacOSX 10.5+PHP5.3.3環境では再現しました。 <?php // 「dd if=/dev/urando

[hnw]

念のため補足しておくと、ファイルのリネームにはシステムコールがありますが、コピーするシステムコールというのは聞いたことがありません。おそらくシステムコールとして実装するには複雑すぎるためでしょう。

[comogly]

数10MのCSVをコピーしたい場合は、PHP標準関数のcopyだと厳しい

[youhey]

PHPのcopy関数やファイルシステムをまたがってrename関数を使う場合に、PHPがファイルサイズと同じ大きさのメモリを消費してしまいます

[mumincacao]

しすてむこーるのらっぱだと思ってたけど mmap を使ったこぴーなのですか！？Σ（´ロ【みかん おまけに巨大ふぁいるには使わない制限がちゃんと動いてないとか・・・ ＿（．．＿；【みかん

[tmf16]

copyとrename気をつけよう

[Rewish]

“貧乏なのでパッチ書いた”

[tofu-kun]

ほぅ

[blythegirls]

えっ…renameも？と思ったら追記された。ありがとうございます

[gayou]

そして必要以上にphp叩きが始まる、と。

[lizy]

OSの提供するコピー用のAPIを使うのがよいのでは

[hajimehoshi]

mmap(2)

[xxxYukihiroxxx]

MacOSX 10.5 + PHP5.3.3環境で実行

[larker]

PHP 5.3.3以降でのpatch

[cos31]

「貧乏なのでパッチ書いた」節約術にしては高度過ぎる。。

[YAK]

ファイルシステム周りの関数は上手く動かないことが多いのでexec()なりでOSのコマンド呼んじゃう事が多い

[brtRiver]

メモリを喰いすぎる場合があると。ソースが読めるようになりたい。読んでみないと。。