cpで大量のファイルをコピーした（4億3200万件、39TB）
GNUのcpを使って大量のファイルをコピーしたところ、cpの設計上の問題で、極めてコピーが遅かったというお話。 My experience with using cp to copy a lot of files (432 millions, 39 TB) よう。俺は最近、大量のファイルをコピーする必要があったんだが、UNIXは20年もやってきた俺の経験からも、cpの挙動には驚かされたし、俺の意見はコミュニティに共有されるべきだと思う。 環境：古いDellのサーバー（2コア、初期メモリ2GB、追加して10GB、Ubuntu Trusty）と、新しいDellのストレージ格納機(MD 1200)にある、12個の4TBディスクでRAID 6が設定してあって、全体で40TBの要領を持ち、二つのドライブが同時に失敗しても問題ない環境。サーバーは遠隔地バックアップに使われていて、ディスクへの書き込みし
2014年4月4日号 Ubuntu Oneのサービス終了とサーバーサイドソース公開・ECS LIVA・MinnowBoard MAX・UWN#361 | gihyo.jp
Ubuntu Weekly Topics 2014年4月4日号Ubuntu Oneのサービス終了とサーバーサイドソース公開・ECS LIVA・MinnowBoard MAX・UWN#361 Ubuntu Oneのサービス終了とサーバーサイドソース公開 4月2日、Ubuntu Oneのサービス終了がアナウンスされました。Ubuntu OneはDropboxに似たクラウドストレージサービスで、Ubuntuにはデフォルトでプリインストールされているだけでなく、Windows・iOS・Android用クライアントが提供されていました。事実上、「DropboxやMicrosoft OneDrive等の競合には勝てない」というビジネス上の判断をしたことになります。 サービス終了アナウンスを、ユーザーにとって重要そうな箇所（第三パラグラフから）を見ていきましょう。 Ubuntu 14.04 LTSには
第210回 SparkleShareで自分専用のDropboxサービスを立ち上げる | gihyo.jp
大半の読者はUbuntuOneやDropboxといったオンラインストレージサービスを使っているのではないでしょうか。しかしながら、これらのサービスには、容量という制約が付きものです。 そこで、容量を気にすることなくオンラインストレージサービスを使うために、SparkleShareというソフトウェアを使って、自分でサービスを立ち上げてしまいましょう。 SparkleShareとは SparkleShareは、「Gitを使ったファイル共有サービスのクライアント」です。 Monoで作られたこのソフトウェアは、共有ディレクトリに放り込まれたファイルを、GitサーバーにSSH越しでpushし、他のクライアントから行われた変更点をpullします。 つまり先ほど「サービスを立ち上げる」と表現しましたが、サービス自体はGitサーバーが提供するのです。このため、Gitリポジトリさえ用意し、SSH経由でアク
HDDが買えないならZFSを使えばいいのに
タイの洪水被害の影響でハードディスク（HDD）の価格が高止まりしている。パーツショップでの実売価格は急騰前の3倍程度にまで跳ね上がり、今でも2倍弱の価格をつけている。5000円台で2TバイトのHDDが買えた記憶が新しいユーザーにとっては買い控えたくなる水準だ。フラッシュメモリーによる半導体ストレージであるSSDの容量単価は下落する一方だが、HDDが買えないならSSDを使えばいいのに…と言えるほどSSDは安くない。 もちろん、データの増加は待ってくれない。記者の自宅には、主にファイルサーバーとして利用するLinuxサーバーがある。タイ大洪水以前に約7000円で購入した1Tバイトの2.5型ハードディスクをストレージに充てた。写真1枚が10Mバイト近くある今の利用環境では、みるみる空き容量が減っていく。どのコンテンツもときめくものばかりで、整理には限界がある。「では増設」と思い立っても、HDDは
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
