[B! sh] rsyudouのブックマーク

シェルのリダイレクトを「こわいものなし」というくらい完全に理解しよう - 檜山正幸のキマイラ飼育記 (はてなBlog)

「Java BlockingQueueで遊ぶ：パイプラインごっこ」でパイプラインの話をしたので、本来の、つまりUnixのパイプやリダイレクトを少し調べてみました。たまに話題となる some-command >file 2>&1 と some-command 2>&1 >fileの挙動の違いについて、「シェルはコマンドラインリダイレクトの指定を右から左に解釈実行する」なんて説明が見つかりました。んなバカな！パージングは左から右にするものですよ。パーズツリーを逆順にたどることはできるけど、そんなことする必然性はなんにもないよ。次の記事を読むと、「右から左」なんて事情じゃないことが分かるでしょう。 UNIXの部屋検索: リダイレクトシェルのリダイレクトにまつわる失敗さてここでは、複雑なリダイレクト処理も完全に理解できる処方箋を示しましょう。例えば、次のコマンドラインが何をするか分かる

rsyudou 2008/01/19

sh

リンク

シェルスクリプトで標準入力を加工する際の注意点 : DSAS開発者の部屋

シェルスクリプトで標準入力を加工する際に若干ハマリかけたので、今回はそのお話をしたいと思います。みなさんのシェルスクリプトライフの一助になれば幸いです。標準入力を加工するシェル関数、例えば、入力を本文とするメールを送るシェル関数ログを入力として受け取り、集計や解析をするシェル関数を書く場合、みなさんどういう風に書いているでしょうか。私は今までこんな風に書いていました… send_mail() { from='sender@example.org' to='receiver@example.org' { echo "From: ${from}" echo "To: ${to}" echo "Subject: test" echo cat - } | qmail-inject -A -f${from} } make_mail_body | send_mail これの何が問題かという

rsyudou 2007/07/13

sh

リンク

xargsコマンドを使って指定したコマンドを並列実行させる - 技術メモ帳

あまり知られていないが、GNUのxargsコマンドには、プロセスの最大数を設定できるオプションというのが用意されている。コレを使って、プロセスを並列実行させてみよう。 xargs --max-procs=MAX-PROCS -P MAX-PROCS command MAX-PROCSに数字を指定すると、最大で、その数だけ command プロセスを生成する。デフォルトは、1プロセスだけになっている。いくつか例を交えて説明する。サンプルとして、以下のようにURLが行ごとに記述されたファイルを元に curlをxargsで並列実行して、HTMLデータを取得してみよう。 $ cat ./url_list.txt http://www.google.co.jp/ http://www.yahoo.co.jp/ http://b.hatena.ne.jp/ まず、普通にxargsを使ってc

rsyudou 2007/02/02

sh

リンク

shell のちょっとしたテクニック - odz buffer

後輩が cat README | tr ' ' '\n' | sort | uniq -c | sort -nr | head てなテクニックを見て、びっくりしたみたいな話をしていたのだが、こういうパイプラインを利用するテクニックを学んでいないのは色々損な気がする。ていうか、サーバで丸一日以上かかるような処理を実行するのもしょっちゅうなのに、GNU screen も nohup も知らないってのはいろいろ支障があるような気もするのだが、だれも教えないものかなぁ。ということで、bash or zsh のちょっとしたテクニックとか*1。リダイレクトとかパイプラインは略。連続実行単純に連続実行。 % foo; barfoo が正常終了したときだけ bar を実行 % foo && barfoo が正常終了しなかったときだけ bar を実行 % foo || bar&&、||は本来は論理演

rsyudou 2007/01/31

sh

リンク

技術メモ帳 - 単語抽出するちょっとしたテクニック

shell のちょっとしたテクニック - odz buffer odzさんのところで単語の出現頻度を調べるためのワンライナーが紹介されている。単語抽出についてはいくつかやり方があるので紹介する。特に egrep -o は非常に実用的。もちろん、この話はリンク先において主題ではない。俺のただの自己満足。 tr -cs で単語抽出 $ tr -cs 'a-zA-Z' '\n' < ./.zshrc 上記コマンドで、a-zA-Zのみで構成される文字列を抽出できる。 -c オプションで、'a-zA-Z' の補集合(以外)を '\n' に変換し、 -s オプションで、最後の引数で指定される要素の重複を除去している。すなわち '\n' の連続を除去している。 grep -o で単語抽出 grepには、( -o、--only-matching ) オプションというのがある。これは、指定された正

rsyudou 2007/01/31

grepの-o部分抽出と「sort | uniq -c」のコンボ技は便利かも