高速に並列処理: xargs -P vs parallel -j vs split -n r/ - いちいの日記
最近になって、 GNU Coreutils の split(1) に --filter ってオプションがあり、入力を並列処理する方法の1つになることを知りました*1。 並列処理をしたいときに使うものとして GNU Findutils の xargs(1) -P, --max-procs (おそらく GNU 拡張) と、そのままの GNU parallel があります。サーバ管理で並列にログインしてなんかやる系だともっと多くのバリエーションが有るでしょうが、 synax sugar の域を超えないのでここでは考えません。 尤も split も本来の目的がちょっと違うので同じように比較するのはおかしいんですが、思ったより効率が良いようなので試してみました。 環境は SunOS, Xeon E5-2630 v3 @ 2.40GHz の 2 socket で 32 threads というとこです。
「今日から使い切る」�ための GNU Parallel�による並列処理入門
東北大学 乾・岡崎研究室で 2016/01/25 に行われた研究会でショートトークを行った際に使用した GNU Parallel のイントロダクションです。Read less
楽しいGNU Parallel - くじらにっき++
「スクリプト言語で書いた処理を合計で5ギガバイトくらいあるHTMLファイル群に適用したい。数時間なら待っても良いが，数日かかるのは困る」という時に役立ちました。 find input -name "*.html" | parallel --dry-run --progress --joblog /tmp/parallel.log "python awesome_script.py < {} > output/{/.}.txt" find input -name "*.html"ではなくls -1 input/*.htmlみたいなのでも良いのではないかと思ってしまう人もいるかもしれませんが，コマンドに渡せる引数の長さには上限があります。数万ファイルという規模になると*を展開したときに上限に引っかかるのでls -1 input/*.htmlは使えません．(参考 xargs コマンド | コマン
[GNU] parallel+ssh で複数のリモートホストに複数のコマンドを実行させる | oshiire*BLOG
仮想化大好きな皆さん( ノﾟДﾟ)こんばんわ。…なんだこの顔文字。2ch辞書入れてる所為か、恐いな(；´Д｀) さて、家やAWSにサーバをお持ちの仮想化大好きの皆様は、もう100も 200もサーバを管理されていることと認知しています。したがって、マルチサイトを管理するための専用のツールなどを入れて、効率的に管理しているだろうと予想します。流石です。それにつけても、仮想化初心者の私の自宅サーバでは、マシンスペックも非力ですし、そんなにたくさんを管理することなど不可能です。ましてやお金がないのに、専用の管理ツールなんて…。 そのため、ごにょごにょして、ssh で rootでは non password で、DSAの鍵認証をさせて、あるサーバから、全てのサーバへログインできるようにして、複数のサイトへコマンドを実行できるように、なんてことをしています。例えばこんなワンライナーで。
![[GNU] parallel+ssh で複数のリモートホストに複数のコマンドを実行させる | oshiire*BLOG](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d71ff5111e05619a10d29bb40d7aebaa75c8fbc/height=288;version=1;width=512/https%3A%2F%2Fs0.wp.com%2Fi%2Fblank.jpg)
GNU Parallel作者が書いたParallel:The Command-Line Power Toolを読んだ
プログラムを並列処理する GNU Parallel というプログラムがある。このプログラムの作者 Ole Tange が usenix February 2011, Volume 36, Number 1 に “The Command-Line Power Tool” という記事を書いていたので読んでみた。6ページで GNU Parallel の主要機能がひと通り解説されているので、GNU Parallel の機能をピンポイントでしか知らない人(=自分)が読むと、いろいろと使いどころが湧いて来ると思う。 GNU Parallel: The Command-Line Power Tool February 2011, Volume 36, Number 1 Authors: Ole Tange https://www.usenix.org/publications/login/februar
コマンドを手軽にマルチプロセス実行 GNU Parallel
GNU Parallelというプログラムを今さら知ったのでメモしておく。これは、複数のプログラムを並行して実行したいときに便利。 インストール GNU Parallelのダウンロードページから最新版の parallel-20110722.tar.bz2 をダウンロードし、configure, make, make install する。 $ wget ftp://ftp.gnu.org/gnu/parallel/parallel-20110722.tar.bz2 $ tar xvjf parallel-20110722.tar.bz2 $ cd parallel-20110722 $ ./configure $ make $ sudo make install ちなみに環境は Darwin 10.8.0 x86_64。 試してみる とりあえずPerlで簡単なプログラムを作って試す。 pri
GNU parallelを試してみた | Ore no homepage
大抵の現場ではホストの情報はIPアドレスとともにエクセルで管理してると思いますが、もっとシステマチックに管理できたらいいなあなんて思ってました。 愚直にやるとすると片っ端からpingを投げたりsnmpを投げたりすればいいんですけど、管理するホストが100台〜とかになると、一個ずつシーケンシャルにやっていくと時間がかかります。そこで並列処理ができたら、ということでGNU Parallelを試してみました。 GNU Parallel http://www.gnu.org/software/parallel/ インストールは↑からソースを落としてきてconfigure&&make&&make installでOKです。 使い方は少しクセがあって、 並列化するコマンドに渡す引数は{1}{2}{3}・・・などと書く 引数は:::で区切る -jで並列ジョブ数指定 -kは入力順と出力順を合わせる ・・・
GNU Parallelがすごすぎて生きるのがつらい
皆さん今日もたくさんのサーバを相手にされていることかと思いますが、いくつかのサーバにアクセスして 1 秒間の統計情報(例えばvmstat 1 2)を集めてパッと表示したい時ってどうやってますかね？shell script を学びはじめたばっかりの僕はこんな感じで書いてました。 $ for i in host1 host2 host3; do ssh $i "vmstat 1 2 | tail -1"; done 0 0 0 329004 210836 14275360 0 0 0 2424 1410 1828 0 0 100 0 0 0 0 0 3716112 587704 25921684 0 0 0 488 1643 2026 0 0 100 0 0 1 0 0 555440 265560 14015548 0 0 0 4204 1534 2392 1 0 99 0 0 vmstatと
コマンドを並列に実行するGNU parallelがとても便利 - りんごがでている
最近のコンピュータは複数のCPUコアを持っているので並列にコマンドを実行することができます。 たくさんの同じようなファイルに同じ処理を実行することは、私のやっているバイオインフォマティクスではよくあります。 しかし自分で並列に実行するスクリプトを書くことはそれほど簡単ではなく、ログや実行結果の確認など煩雑な処理を書かなければいけません。 この記事では、そうした処理を簡単にするGNU parallelというツールを紹介します。 GNU parallel UNIX系のOSではインストールはとても簡単です。MacでしたらHomebrewを使って、Linuxでは各ディストリビューションのパッケージマネージャからインストールできます。 詳しくはGNU parallelのウェブページを参照して下さい(http://www.gnu.org/software/parallel/)。 Homebrew: b
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
koshigoe.jp
GNU Parallelで並列処理を行う - Qiita