GitHub - Borisvl/bigbash: A converter that generates a bash one-liner from an SQL Select query (no DB necessary)You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
高速に並列処理: xargs -P vs parallel -j vs split -n r/ - いちいの日記
最近になって、 GNU Coreutils の split(1) に --filter ってオプションがあり、入力を並列処理する方法の1つになることを知りました*1。 並列処理をしたいときに使うものとして GNU Findutils の xargs(1) -P, --max-procs (おそらく GNU 拡張) と、そのままの GNU parallel があります。サーバ管理で並列にログインしてなんかやる系だともっと多くのバリエーションが有るでしょうが、 synax sugar の域を超えないのでここでは考えません。 尤も split も本来の目的がちょっと違うので同じように比較するのはおかしいんですが、思ったより効率が良いようなので試してみました。 環境は SunOS, Xeon E5-2630 v3 @ 2.40GHz の 2 socket で 32 threads というとこです。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
poor-mans-parallel-pipelines/README.md at master · jeroenjanssens/poor-mans-parallel-pipelines
GNU Parallel as job queue processor
Simple, Fast, Easy Parallelism in Shell Pipelines
GitHub - rofl0r/jobflow: runs stuff in parallel (like GNU parallel, but much faster and memory-efficient)
Use multiple CPU Cores with your Linux commands - awk, sed, bzip2, grep, wc, etc. - RankFocus - Systems and Data
psort: Parallel sorting on the command line. An example.
