cpで大量のファイルをコピーした（4億3200万件、39TB）

GNUのcpを使って大量のファイルをコピーしたところ、cpの設計上の問題で、極めてコピーが遅かったというお話。 My experience with using cp to copy a lot of files (432 millions, 39 TB) よう。俺は最近、大量のファイルをコピーする必要があったんだが、UNIXは20年もやってきた俺の経験からも、cpの挙動には驚かされたし、俺の意見はコミュニティに共有されるべきだと思う。 環境：古いDellのサーバー（2コア、初期メモリ2GB、追加して10GB、Ubuntu Trusty）と、新しいDellのストレージ格納機(MD 1200)にある、12個の4TBディスクでRAID 6が設定してあって、全体で40TBの要領を持ち、二つのドライブが同時に失敗しても問題ない環境。サーバーは遠隔地バックアップに使われていて、ディスクへの書き込みし

[kfujieda]

これmallocしてもfreeしなくていい典型的な例だな。

[indication]

黙ってrsync...

[ysync]

それだけの件数をコマンド一発でやろうとは思わないくらいには、いろいろ信用してないｗ

[bata64]

ファイルレベルの大量コピーはtarでアーカイブが大原則ではなかろうか。id:miyakawa_taku 言葉足らずでした。他の方も書いてますがtar -cをパイプで渡し、それをtar -x、というのは同一サーバ上で良くやるんですが。

[ssids]

ファイルシステムレベルだったら dump 0uaf - /mnt | restore -rf - するなぁ

[aont]

人間様が作るからどうしても無意識に特定のスケールを対象としちゃうよね。/不良セクタができても代替セクタがあるうちは大丈夫なんじゃなかったっけか？

[oktnzm]

xargsで分ければ・・・

[toshiyam]

難しい話わかんないけどrsyncじゃいかんのですか / 他36コメント http://t.co/hd7A565Q8F “本の虫: cpで大量のファイルをコピーした（4億3200万件、39TB）”

[woods]

昔fj.comp.lang辺りでやってた「malloc()したら必ずfree()すべきか問題」を思い出した。

[m-naze]

ふつー tar パイプ tar だろ，って思うんだけど同じ問題があったりするんだろうか。

[miruzouq]

ここらへん分かるようになりたい…“近代的なOSはメモリ管理をしっかりとしているので、今すぐ終了するのであれば、細切れにしたヒープの中身（しかも実メモリが足りないためスワップ発声）をわざわざ意味のない状態

[HHR]

cp bug

[typista]

cpで大量のファイルをコピーした（4億3200万件、39TB）

[DNPP]

“cpで大量のファイルをコピーする際の問題は、たまにハッシュテーブルをリサイズするが、その間にI/Oを一切行わないというのと、終了時にご丁寧にもハッシュテーブルで確保したメモリを破棄しようとするため、恐ろし

[asakura-t]

↓確かにcp以外のケースがどうなるのかも気になる。

[richard_raw]

rsyncやtarの場合はどうなるのか気になります。あとどうしてxargsかまさなかったのか。

[KoshianX]

スケールしていくと想定外の問題が出てくるもんだな……

[sanryuu]

“ドワンゴ広告 この記事はドワンゴ勤務中に書かれた。 来週末はBoost勉強会大阪で発表する予定で、そのためにConcept Liteのドラフトを読み込んでいる。軽量コンセプトはある程度理解した。 ドワンゴは本物のC++プログラマ

[mnnn]

“本の虫: cpで大量のファイルをコピーした（4億3200万件、39TB）”

[Kureduki_Maari]

cpで大量のファイルをコピーした（4億3200万件、39TB）

[karia]

“本の虫: cpで大量のファイルをコピーした（4億3200万件、39TB）”

[daybeforeyesterday]

うーむ

[tyru]

rsyncでも-H付けると遅くなるってどこかに書いてあった気がするけど忘れた。manにも書いてなかった。

[decoy2004]

rsync だとどうなる？ / 他52コメント http://t.co/D1c6aDDqFv “本の虫: cpで大量のファイルをコピーした（4億3200万件、39TB）”

[REV]

「故障したハードディスクの数と、不良ブロックのあるハードディスクの数は、別物だ。」　前、RAID5作ったが、怖くなってバラした。

[y_uuki]

おもしろい

[maru624]

学びがある

[mirakui]

面白い

[fumokmm]

46件のコメント http://t.co/9nbYYY0Gaz “本の虫: cpで大量のファイルをコピーした（4億3200万件、39TB）”

[kamei_rio]

"どのファイルがコピーされたのかを、ハッシュテーブルで管理していて、頻繁な衝突を防ぐために、たまにサイズを増やしている"

[honeniq]

思っていたよりも色んなことを中でやってるんだな / “本の虫: cpで大量のファイルをコピーした（4億3200万件、39TB）”

[hiroomi]

“は、どのファイルがコピーされたのかを、ハッシュテーブルで管理していて、頻繁な衝突を防ぐために、たまにサイズを増やしている。RAMを使い切った場合、これは極めて遅い操作となる。”

[kisiritooru]

怖い

[UhoNiceGuy]

malloc-free問題の実例

[kasumani]

cpで大量のファイルをコピーした（4億3200万件、39TB） GNUのcpを使って大量のファイルをコピーしたところ、cpの設計上の問題で、極めてコピーが遅かったというお話。 Tags: from Pocket September 13, 2014 at 01:11AM via IFTTT

[yogasa]

“本の虫: cpで大量のファイルをコピーした（4億3200万件、39TB）”

[daltonp]

こんなレアケースにはお目に掛かりたくないなあ

[north_korea]

まさか39TBのコピーをする人がいるとは思わなかったんかなあ