xargs -P と export -f を使ってシェルスクリプトで並列処理を実現する - mrk21::blog {}

xargsの-Pオプションを使うとパイプで渡された値を任意の並列数で並列処理することができます。以下では、普通に実行すると10秒かかる処理が、5並列で並列処理することによって2秒で実行することができます。 f.sh: #!/bin/bash echo $*; sleep 1; $ seq 10 | xargs -I % -P 5 ./f.sh % 1 2 3 4 5 6 7 8 9 10 そのため、シェルスクリプトで大量の項目をforを使って処理している部分をxargsに置き換えることによって高速化することができます。 しかし、xargsでは関数を使用できないので、このままでは並列処理したい部分を都度別のシェルスクリプトに分割しなくてはなりません。 $ function f { echo $*; sleep 1; } $ seq 10 | xargs -I % -P 5 f % xargs

[mrk21]

書いた