シェルスクリプトの中で1行ずつ変数を分割する際には、cutとかawkとか余計なプロセスを起動せずsetを使って分割した方が効率的 - 双六工場日誌

シェルスクリプトの中で、スペース区切りもしくはタブ区切りのレコードを扱うことがよくあると思います。 たとえば、前回のエントリ「AWS CLIとjqを使って、AWSのELBボリュームがアタッチされているEC2インスタンス名を出力するワンライナーを書いた - 双六工場日誌」のスクリプトの出力は以下のようになります。 i-ec56a9f5 vol-07d00601 servername i-ec56a9f5 vol-8f550991 servername このようなレコードの特定の列を取り出して、処理する際にどうするのが効率的か、というのがこのエントリのお題です。 非常に古い話題なので、昔からシェルスクリプトを書いている人には自明な話ではありますが、最近、シェルの標準機能の話を聞く機会がなく、失われつつある技術になってきている気がしているので、改めて確認ということで。 例として挙げたレコードから

[sechiro]

シェルスクリプトの中でのフィールド分割の際、結局どの方法がいいのかということの確認と、"set --"のことも思い出して欲しかったので、ブログにまとめました。

[y-kawaz]

read instance_id volome_id instance_name <<< "$line" で良いのでは？

[sora_h]

(一定規模か一定の複雑さを超えたら シェルやめたほうがよさそう)

[thaim]

1000試行で数秒単位の差だと、普段はcut版の実装で問題ないかも。ただし、選択肢とその差を把握しておくと有益なのは間違いない。

[ryuichiueda]

なぜ一行ずつ処理しているのだろうか？

[tarchan]

＞"set --"のあとに、スクリプトの引数のようなイメージで、空白区切りの文字列を入れるとシェル内で再設定することができます。

[JULY]

シェルスクリプトにパフォーマンスを求められる時点でちょっと、と、個人的には思うけど、でも、面白い。ただ、set は副作用もあるから、ちゃんと理解して使う必要がある。追記のところが重要。

[teramako]

コメント見てるとbash使いが多くてウラヤマ。

[bundai223]

setでsplit

[takets]

シェル芸。

[akachochin]

不勉強ながら、文字列を区切り文字分割して別々の変数に格納するのにsetを使うのは知らなかった。cutでやってたよ...

[mas-higa]

"そもそも一つのプロセスで処理できる..." ユニケージ開発手法というのがあってな

[dolmen777]

sedかとおもたらsetとな

[azi2]

試してみよう

[an_old_pencil]

set知らなかった

[june29]

set 使ったことなかった… (ゆとり)

[kazuph1986]

そういえば以前使ってるのを見たことある。

[kenta1984]

シェルスクリプトの中で1行ずつ変数を分割する際には、cutとかawkとか余計なプロセスを起動せずsetを使って分割した方が効率的

[Hayato]

へー

[tengo1985]

こういう時のtimeは/usr/bin/time -vとかがいいんじゃないの？と思った。シェルってどうやって勉強したらいいのかな。manにも結構書いてあるけど、深いところまではなかなか難しいし。

[amino_acid9]

"set --"で位置パラメータを再セットするのは、なんか抵抗あるんだよなあ

[lesamoureuses]

読んだものの、今まで通り何も考えずperlでワンライナーでやっちゃうと思う

[takatoshiono]

こんな技が

[tokida]

シェルスクリプトの中で1行ずつ変数を分割する際には、cutとかawkとか余計なプロセスを起動せずsetを使って分割した方が効率的 - | シェルスクリプトの中で、スペース区切りもしくはタブ区切りのレコードを扱...

[hevohevo]

なるほど！　空白区切りされた文字列を$1のようにpositional parameterとして拾えるのか。目からうろこポロポロ。いつもawk使ってた。

[OKIIZO]

シェルスクリプトで効率とか速度を気にするものを作るのが間違い

[oxoofo]

<- azu_re

[topaz2]

$ 上書かれるの変なバグになりそうでちょっと怖い

[HF_frt1623]

awk やcut 使った方が可読性は高いと思うけれども、負荷軽減策として、知っておきたい。

[hagane]

あとでちゃんと読もう。

[gikazigo]

シェルスクリプトの中で変数を分割する際には、cutとかawkとか余計なプロセスを起動せずsetを使って分割した方が効率的 - 双六工場日誌

[koyancya]

シェル芸の伝承か

[honeybe]

set知らなかった！勉強になる

[reda_sbc]

setなんてできるんだー便利そう