cpで大量のファイルをコピーした（4億3200万件、39TB）
GNUのcpを使って大量のファイルをコピーしたところ、cpの設計上の問題で、極めてコピーが遅かったというお話。 My experience with using cp to copy a lot of files (432 millions, 39 TB) よう。俺は最近、大量のファイルをコピーする必要があったんだが、UNIXは20年もやってきた俺の経験からも、cpの挙動には驚かされたし、俺の意見はコミュニティに共有されるべきだと思う。 環境：古いDellのサーバー（2コア、初期メモリ2GB、追加して10GB、Ubuntu Trusty）と、新しいDellのストレージ格納機(MD 1200)にある、12個の4TBディスクでRAID 6が設定してあって、全体で40TBの要領を持ち、二つのドライブが同時に失敗しても問題ない環境。サーバーは遠隔地バックアップに使われていて、ディスクへの書き込みし
Learning Unix - Miguel de Icaza
As I meet new Unix hackers using Linux or Mac, sometimes I am surprised at how few Unix tricks they know. It is sometimes painful to watch developers perform manual tasks on the shell. What follows are my recommendations on how to improve your Unix skills, with a little introduction as to why you should get each book. I have linked to each one of those books with my Amazon afiliates link, so feel
更新履歴兼雑記 sed ってなんなの？
あーなんか言語紹介といえばこんなのがあったのでした。sed ってなんなのかという、とてもよくある疑問に対して私なりの回答です。まず実用を考えると、 sed 's/hoge/hage/'このためだけに存在している言語です。メリットは perl -pe 's/hoge/hage/' より 4byte 短くてすむことだけです。これ以外の機能はスクリプト言語で十分なように思います。たまに勘違いしてる人がいる気がしますが、 y コマンドはカウンタを作るために存在しています。小文字を大文字に変換する、などと考えるとどのような時に使うのか皆目検討もつかず、ドツボにはまることうけあいです。気をつけましょう。ちょうど OOP を犬とか猫で教えるような話に似てるかもしれません。 で、 sed in depth 。 sed とはなにか？ 誰がなんと言おうと、 sed は VM です。以下に VM の仕様を示しま
ゑBLOG: PuTTY 0.59 ごった煮版 2007年2月6日版
変更点は以下の通りです。 ゆたかさんからバージョン情報について報告いただきました。ありがとうございます。指定するのをすっかり忘れていました。 yamkさんからリジェクトされてオリジナルのままにしておいた箇所の情報をいただきました。ありがとうございます。いただいた情報を元に、とりあえずですが適用させました。 日本語化できていない箇所がいくつかあったので日本語化できるように修正して日本語訳を追加しました。 アイコンファイル指定がOKボタンなどに重なって見えにくくなっていたので「ウィンドウ/アイコン」カテゴリを新設し移動させました。 あと、インストーラーのみの公開は2ちゃんねるで評判が良くなかったのでzipアーカイブを追加しました。 投稿者 双六 : 2007年02月06日 22:23 | このエントリーのトラックバックURL ※ゑBLOGではこのブログへのリンクを含まないトラックバックを拒
iandeth. - screen - 仮想端末マネージャーの使い方
先日とあるサイトで知った、UNIX系OS で動く screen なるツール。kterm とか teraterm 等の端末１つで、複数端末での作業をエミュレートするとかなんとか・・・って使ってみてびっくり、これすげー便利！乱暴に言えばタブブラウザの terminal 版って感じでしょうか。ざーっと man を読んだ上で、幾つか web からも知識を仕入れたのでここにメモっておきます（いうても使いそうな基礎操作のみ）。 screen の魅力 複数の（仮想）端末を同時に開いて作業する事ができる 仮想端末が開かれた状態を保ったまま端末ログアウト 〜 後日ログイン後、screen を呼び出す事によって前回の状態を復帰させることができる（回線が強制切断しちゃった際も復帰可能） １端末の画面を上下 n 分割させる事ができる ２人で同じ screen プロセスに接続する事で shell の同時操作ができる
【コラム】漢のzsh 第1回 最強のシェル、それは「zsh」 (MYCOMジャーナル)
IDEの発展やAjaxなど現在のデベロッパにとってGUIとうまくお付き合いすることは開発効率を上げるうえで必須といえる。しかしながら、シェルというCUI環境も根強い人気がある。GUIと違ったカスタマイズ、アジリティ、効率の良さ、幅広い対応プラットフォームなど、なくてはならないものだ。 本連載ではそうしたCUI環境の充実を補佐することを目的とし、"zsh"について語ってみようとおもう。かつてzshはUTF-8の扱いが弱いところがあったが、それもずいぶんと改善され、ここ1年でzshへ移行しやすい状況が整ってきている。はじめるには悪くないタイミングだ。 最初に軽くzshについて紹介しておこう。 名前につく"z"の文字は、「究極の」という意味がこめられているらしい。系統としてはsh系である。つまり、zshはsh系の超高機能シェルといえるだろう。Linuxなどのユーザーであればsh系であることの意味
Let's use SCREEN!
LAST UPDATED Jul/21/2007 新情報 Cygwinの公式ディストリビューションにscreen-4.0.3が登録されました。screenインストールメモ Cygwin編 (2007/07/21) screen-4.0.3がリリースされました。screenインストールメモ (2006/10/23) screen-4.0.2用の非公式パッチを1つ追加しました(cjk文字幅誤認識)。screenインストールメモ (2006/06/09) 2ch UNIX板 screenスレ 更新 (2006/05/29) screen-4.0.2用の非公式パッチを2つ掲載しました。screenインストールメモ (2005/01/22) screen-4.0.2がリリースされました。screenインストールメモ (2003/12/07) このページはいったい何? screenはUNIXライクなO
NetBSD/FreeBSD i386 シリアルコンソール化: ある nakagami の日記
http://www.gentei.org/~yuuji/rec/pc/memo/2005/12/03/index.html BSD Hacks の３章 26. ヘッドレスシステムを動作させるにもある。 http://www.oreilly.co.jp/books/4873112184/toc.html あと、 GDB を使い NetBSD カーネルをデバッグする HOWTO http://www.jp.netbsd.org/ja/Documentation/kernel/kgdb.html FreeBSD については「FreeBSDのブートプロセスをみる」の一番最後の記事 http://www.amazon.co.jp/exec/obidos/ASIN/4756147437/
Computing Memo of 2005/12/03
NetBSD/FreeBSD i386 シリアルコンソール化(2006/3/29加筆) 今日のネタではないのだが、落ち着いたので。 シリアルコンソールって何じゃらほいって人は最後の方へ。 能書 遠隔地で完全な操作ができないシステムはサーバとしてはうんこだ。 CPUやマザーボード、電源がイカれたとかいう深刻なハードウェアトラブルなら しゃーないが、ファイルシステム関係のオペミスなんかでハングしたときに リセットボタンを押しに行かなきゃならんようでは安心してサーバ運用できない。 という意味で、やっぱりSunなんかのワークステーションは基本的に シリアルデバイス(RS-232Cって書かないと最近はシリアルATAだと思われるらし い)で全てのBIOS関連操作ができるのでハードウェアが壊れない限り、 全ての操作を遠隔地からできて偉いのだ。Intelアーキテクチャの「ぱそこん」 では、*BSDの機能と
GNU screen いろいろまとめ。 - naoyaのはてなダイアリー:
先日人力検索で GNU screen の設定TIPSについて質問してみたところ、かなーり役立つ設定とかをたくさん教えてもらうことができました。みなさん感謝。 そんで、教えていただいた通りにカスタマイズした結果、こんな感じのスクリーンショットが撮れました。MacOSX のターミナルです。 おかげさまでかなり便利になって作業効率が上がったと思います。いろいろ教えてもらったお礼とまではいきませんが、やった設定とかをはまりどころとかも交えて紹介してみます。名付けてリバースNDOメソッド。ちなみに、知ってる人にはごく当然のことが当たり前のように書いてるので、あんまり役に立たないかもしれません。 hardstatus alwayslastline で最終行にウィンドウ一覧を表示 これは今回の質問とは直接関係ないのですが、やるとやらないとでかなり使い勝手が違うので。 hardstatus alwaysl
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ocamlunix
Differences Between Windows and Unix Non-Blocking Sockets