xargs を使ってカジュアルに並列処理 - たごもりすメモ
シェルからでも重い処理というのはちょこちょこあって、例えば超デカいログファイルを移動して圧縮したりというお仕事は世界中のあらゆる場所で毎日行われていたりする。コマンドラインからでも大量の圧縮済みログファイルをいっぺんに展開したい、とか。 あるディレクトリ以下に存在するたくさんのファイルを(圧縮済みのものを除いて)全部 bzip2 圧縮したい！と思ったら、とりあえずさくっと次のようにコマンドラインで叩けばいい。 $ find . -not -name '*.bz2' | xargs bzip2 これで、まあそんなに問題なく効率的にbzip2圧縮ができる。だがしかし。 最近は複数コアのCPUが普通に転がってるし、あまつさえHyperThreadingが有効になってたりしてOSから見える論理CPU数がハンパない。普通に8とかある。その一方で複数コアを使用してくれるコマンドというのはあんまりなくて
tailコマンドって-c使うと超速い - As a Futurist...
Twitter でつぶやいたら意外と知られて無かったので記事にしておきます。 Linux とかで巨大なログファイルとかを扱うときに、head や tail というコマンドで先頭から何行とか 末尾から何行を見たい時があると思います。 例えばアクセスログで末尾から 10000000 行目辺りをみたいとかいうときに $ tail -n 10000000 access_log | head とかするとかなり遅いと思います。これはログの後ろの方から読み込みながら 行数を計算しているからで、10000000 行分数えないとどこから表示すればいいのかわからないので なかなか結果が返ってこなくてヤキモキしてしまいます。 こんなときに、-cというオプションを使うと超高速で結果が返ってきます。-cというのは -c, --bytes=N output the last N bytes とある様に、ファイルの末尾
LC_ALL環境変数とsortコマンド - sileのブログ
自分の環境では、sortコマンドを実行する時にLC_ALL環境変数に'C'をセットするかしないかで、処理終了までの時間が著しく変わる。 # 約40万行のデータ > wc -l words 392126 words # 入っているのはUTF-8の日本語(IPA辞書を利用) > head words やぼったい やぼったし やぼったから やぼったかろ やぼったかっ # 普通のソート > time sort words > /dev/null real 0m37.158s user 0m37.098s sys 0m0.056s # LC_ALL=Cでのソート > time LC_ALL=C sort words > /dev/null real 0m0.293s user 0m0.284s sys 0m0.008s ロケールを考慮してソートするかどうかの違いだと思うが(LC_ALL=Cの場合は、
Unixのコマンドラインで使えるちょっとした小技をまとめた『Unix Comman-Line Kung Fu』 | IDEA*IDEA
ドットインストール代表のライフハックブログ
findとxargsの組み合わせ - ヒルズで働く@robarioの技ログ
http://hirkaz.blogspot.com/2008/09/blog-post_01.html こういうのを見るとどうしても $ find ~/dev/php -name '*.php' -a -print0 | xargs -0 nkf --overwrite -w -Lu と書き直したくなる。元のままだとスペースを含んだファイル名を扱えないからね。 一応説明しておくと、元のコードでは"foo bar.php"というファイルがあった場合、xargsが"foo"と"bar.php"を処理しようとしてエラーになってしまう。 そこで、findで-print0を使うと"\0"区切りで出力してくれて、xargsに-0を指定すると引数を"\0"区切りとして扱ってくれるので"foo bar.php"として処理してくれる。 ファイル名にスペース入れるなっていう話もあるけど、Windowsな人は
FreeBSD 標準入力 stdinをtarする方法
FreeBSDのtarコマンドで標準入力(stdin)から入力したデータを アーカイブする方法について説明します。 ほかのOSのtarコマンドだと指定方法が異なる可能性がありますので、 ご利用のOSのtarコマンドのmanをご参照ください。 stdinからの入力を指定するには、 FreeBSD の tarコマンドの場合、 @-を指定します。 tar zcfp - . | tar zcfp /tmp/f.tar.gz @- 関連 [2008-07-10-1] tarの標準出力 標準入力を使いこなす方法 [2008-07-09-2] tarコマンドの使い方 参照しているページ (サイト内): [2009-03-08-1] [2008-08-21-1] [2008-07-10-1] [2008-07-09-2] スポンサーリンク
ClassX::Commandableで簡単CLIアプリ - walf443's blog
東京Ruby会議の懇親会で一番反響が良かったのはClassX::Commandableだったということでブログでもあたらめて紹介しておく。 MooseにはMooseX::GetoptとかMooseX::App::Cmdという便利なモジュールがあったのでMooseX::GetoptをパクってClassX::Commandableというのを作ったという話。 require 'classx' $ClassXCommandableMappingOf[Symbol] = String class YourApp include ClassX extend ClassX::Commandable has :arg1, :kind_of => Symbol, :desc => 'please specify arg1', :coerce => { String => proc {|val| val.to
窓の杜 - 【NEWS】タブ切り替え型テキストエディター風のコマンドプロンプト「ColorConsole」
タブ切り替え型テキストエディター風のコマンドプロンプト「ColorConsole」v1.51が、3月9日に公開された。Windows NT/2000/XP/Server 2003/Vistaに対応するフリーソフトで、現在作者のホームページからダウンロードできる。 Windows標準のコマンドプロンプトは、［Ctrl］＋［C］キーや［Ctrl］＋［V］キーでのコピー・貼り付けができないなど独特の操作方法になっている。そのため、テキストエディターなどの一般的なアプリケーションの操作に慣れていると、コマンドプロンプトの入力は非常にやりづらく感じてしまう。 「ColorConsole」は、入力画面にテキストエディターを利用したコマンドプロンプト。コピー・貼り付けはもちろん、文字列の範囲選択やカーソル移動など、普段使い慣れたテキストエディターと同様の操作でコマンドの入力が可能になる。 また、コマンド
いまさら findと xargsと parallelの便利さを主張してみる - ダイミテイ
hnwさん、細かいツッコミをいれます。生産性が上がるわけでもないので、あまりしらなくていいことですが。 コマンドを一度に起動する (find -exec +) $ find . -name \*~ -exec rm {} \; ただ、これだと100000ファイルがヒットした場合にrmコマンドが100000回実行されてしまうため、全部実行するまでに案外時間がかかる、なんてことがあります。 http://openlab.dino.co.jp/2008/02/20/133431188.html これを回避するために xargsを使うのもまっとうですが、最近の find には + というのがあります (SUSV3 で定義されていて、 MacOS Xでも GNUでも (多分) BSDでも使えます)。 find . -name \*~ -exec rm {} + これで、複数の引数つけて rmを呼んで
perl - the best friend of find(1) : 404 Blog Not Found
2008年02月24日22:45 カテゴリLightweight Languages perl - the best friend of find(1) find(1)ネタというのも、定期的にネットを賑やかにする時候ネタになりつつあるようです。 いまさらxargsの便利さを主張してみる findでファイル検索入門 - builder by ZDNet Japan というわけで、いまさらfindとperlの相性のよさを再確認してみることにしてみます。 基本形 まずは、これを覚えておきましょう。 find [options and args of find] -print0 | perl -l0ne 'perl program' findが見つけたファイルを一つ見つけると、perlの$_にそのファイル名が入るのでそれに対して何らかの処理を行います。 perl側の-l0neというのは、以下と同等
*BSD の便利ツール - どさにっき
2008年1月21日(月) ■ 神様仏様ドコモ様 _ 3ヶ月ほど前、docomo が送信ドメイン認証を採用するにあたり、わしは こう書きました。 docomo に蹴られちゃかなわん、とあわてて設定するドメインは多いだろうから、今後数ヶ月で普及率が一気に上がると思う。 はい、 こうなりました。 _ 効果テキメン。そっち方面の専門家が声をはりあげるよりも、大手が一社採用する方がずっと効果的。もちろん、大手が採用するに至ったのはそっち方面の専門家の地道な活動の成果でもあるので、それを否定するつもりはまったくないのだが。 _ 送信ドメイン認証は docomo 以前から au でも採用されているわけだけど、実施にあたりとくに大きなプレスリリースを出さずにひっそりはじめた au と、大きく宣伝してからはじめた docomo とでは影響力が段違い。なんだかんだいって、大手が口を開けばみんなそっちになびく
grepやRakで2つ以上のキーワードの共起を検索する方法 - Hello, world! - s21g
ある単語Xが出てくる場所の前後5行以内に別な単語Yが出現する場所を探したい。 たまにはそんなこともありますね。 -A -B -C オプションが実装されている Rak やgrepを使えば簡単。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA
IDEA * IDEA
コマンドラインで使える超絶便利なワンライナーを投稿・共有できる『Command-line-fu』 | 100SHIKI
find／grep／xargsコマンドを使いこなす 業務で楽するためのUNIXテクニック集「検索」編
sudoのタイムアウトを長くする設定 - Hello, world! - s21g
【 ulimit 】 コマンドに割り当てる資源を制限する
2007年12月11日の記事 | エコなび日記 - 楽天ブログ
void GraphicWizardsLair( void ); //