xargsコマンドを使って指定したコマンドを並列実行させる - 技術メモ帳

あまり知られていないが、GNUのxargsコマンドには、 プロセスの最大数を設定できるオプションというのが用意されている。 コレを使って、プロセスを並列実行させてみよう。 xargs --max-procs=MAX-PROCS -P MAX-PROCS command MAX-PROCSに数字を指定すると、 最大で、その数だけ command プロセスを生成する。 デフォルトは、1プロセスだけになっている。 いくつか例を交えて説明する。 サンプルとして、以下のようにURLが行ごとに記述されたファイルを元に curlをxargsで並列実行して、HTMLデータを取得してみよう。 $ cat ./url_list.txt http://www.google.co.jp/ http://www.yahoo.co.jp/ http://b.hatena.ne.jp/ まず、普通にxargsを使ってc

[YuichiTanaka]

xargsが強すぎる

[shokai]

xargs -P0 -n1

[takuya_1st]

なんと！スレッド使わなくても委員じゃん

[hi_igu]

並列

[kamipo]

cat url_list.txt | xargs -P3 -t -n1 curl >/dev/null

[webmarksjp]

command

[elbat]

勉強になる。落ちがすばらしい

[HISAMATSU]

xargs を用いた並列化。知らなかった。便利

[hirose31]

sugoi

[hogem]

xargsのmanも見たけど、-nは-Pと一緒に使うと良いらしい。ふむふむ

[zionic]

並列実行

[secondlife]

-P オプション

[Toshihiro0221]

PC

[y-110]

xargs って深いなぁ。

[topaz2]

スゲーと思ったけど使い道に悩む

[toton]

xargsスキスキ

[pmakino]

知らなかった…

[LaclefYoshi]

zargs

[rero]

--max-procs オプション．

[svankmajer]

並列実行inシェル

[june29]

こういうの，本当に助かります

[nbqx69]

おお！！

[adamrocker]

xargsコマンドを使って標準出力を標準入力に繋ぐのは必須テク。標準入力が連続して発生する場合、それぞれを独立して並列実行できる。知らなかった。「xargs -P3」で3プロセス実行。

[zinoue]

xargsって結構すごい

[nyomonyomo]

xargsってあんまり使った事無いけど(manした事もないA`)使うと便利なのかも知れない

[FTTH]

（使うのか俺）

[bigwest]

コマンド並列実行