シェルスクリプトを何万倍も遅くしないためには —— ループせずフィルタしよう - Qiita

🐚 🐚 🐚 🐚 シェルスクリプトは遅すぎて使えない 普通の「速い言語」より何百、いや、何千倍も遅い 他のプログラミング言語を経験してからシェルスクリプトに入門し、このような感想を持つ方も多いのではないでしょうか。 実際、こういったことは往々にして起こり得ますので、「速い言語」を使うべきか否か見極めることは大事だと思います。 しかし、本当にシェルスクリプトというのは、そこまで遅いのでしょうか？ データ量が多い場合は常に最初から「速い言語」で書いた方がよいのでしょうか？ 実は、そうとも限りません。 シェルスクリプトにはシェルスクリプトなりの「速い書き方」があります。 この「速い書き方」で処理できる問題に関しては、シェルスクリプトは「速い言語」なのです。 では、「速い書き方」とは何かというと、端的には「たくさん繰り返されるループはシェルスクリプトで記述しない」ことです。 以下でこれを説明

[megumin1]

悪記事。正しくは「プロセスの起動はコストが高いのでループごとにプロセスを起動するのは避けましょう」です。外部コマンドを起動しないならシェルスクリプトで一行ごとに読み込むことは何の問題もないです。

[kitaj]

シェルスクリプトが遅いとかではなくて、シンブルなコマンドをパイプて繋げ、という話なだけでは。

[doroyamada]

「ループせずフィルタ」というより「外部コマンド使おう」がタイトルとしてふさわしいような。

[JULY]

シェルスクリプトを書くのは、用意されているコマンドをつないで簡単に済ませられる場合であって、速い、遅いではない。逆に、「シェルスクリプトなら10行」を、まっとうな言語で作り込む人も多い。

[zetamatta]

cut と tr と wc のパイプラインが一番速いとはなぁ

[shikiarai]

perl芸とshell芸は暗黒魔法を生み出すから趣味以外ではやめたほうがいい。下手に爆速化すると非機能要件のせいで他言語にリプレースできなくなる不都合もある。

[six13]

違う書き方を学ぶのは勉強になるよね

[taruhachi]

逆にループで書く方がスキルが必要な例。。。というのはさておき、シェルスクリプト内で利用するコマンドは外部プロセスの起動になるので非常にコストは高いという事だけ覚えておけば良い。

[t_nkjm]

コマンド繋いだほうが速いのか。意外。

[kamatama_41]

なるほど

[Kesin]

シェルスクリプトはほぼワンライナーでしか使わないのでむしろループ回す発想が無かった

[karia]

Goより速いShellscript（っていうタイトルを付けると炎上するやつ）

[georgew]

高速化狙うならループ排除というテクは他言語でも定番ルールではないかと。PythonとかRでもそう。

[mumumu-tan]

うっかりと他の言語の感覚で、「まず一行ずつ読み込んで……」と丁寧なループを書いていると、ちょろっと書いたワンライナーより何万倍も遅くなってしまうのがシェルスクリプトなのです。適当にやりましょう。

[l-_-ll]

cut -d, -f2 |tr -dc 'aeiou' |wc -c でGo言語バージョンよりも3.4倍高速に

[yagitoshiro]

なんだwhileか

[daichirata]

Goの比較プログラムを実行しましょうとあまり変わらない結論になっていた

[programmablekinoko]

ユニケージはこの手法の連続で業務システム作ってるのだ、、、

[mocchit]

仮説と検証が書かれてない(or 合っていない)性能改善記事は信用しない

[agricola]

データの量次第では｢テキトーに書き飛ばしたコードを走らせた実行時間≪最適化に要した時間」になったりするから、書き捨てのスクリプトで頭を使うのは下策よ。もちろん一発でパイプが組めればそれが理想だが。

[surume000]

シェルでパフォーマンスが求められるものを書くのは避けるべき

[itouhiro]

「最終的にGo言語バージョンよりも3.4倍速く、最初の実装より2万3千倍速い」「1行毎に読み込む処理。ループごとにプロセス起動は遅い。shell芸で爆速化は他言語に持って行けない」

[seuzo]

「シェルはグルー言語だから」につきるかな。すべてをひとつの道具で完結させたい病といってもいい。ページ物をillustratorで作ったり、Excelでプレゼン資料や報告書作ったりね。

[chankuri]

こういうシンプルで小さなプログラムを組み合わせて目的を達成する事が出来た時の快感は、UNIXの思想的な所で好き。

[miragestlike]

感想:やっぱりシェルは苦手

[d0i]

外部コマンドを柔軟に組み合わせることがシェルスクリプトの長所なのに、「外部コマンドを起動しなければ」ってそれならrubyでもpythonでも良いのでは。

[kitahashi-ryoichi]

ユニケージではこれで基幹システムとか作っちゃうんだぞ。二度とやりたくない。

[qtamaki]

大量データを処理するときには書かないなあ。10台に一括でsshでコマンド流すときとかに使う

[monochrome_K2]

パイプを通すとマルチスレッドで処理されるのでマルチコアが生かせるというくらいの認識で良いのかなと思う

[AmaiSaeta]

文法……というか思想レベルで違う物で同じやり方を通そうとすれば、そりゃ無理が出てくるよなぁ。

[gnufrfr]

cのプログラムを使いましょうって話じゃん？

[slkby]

シェルスクリプトとpythonはforを書くと負けた気分になる

[greencoffeemaker]

シェルスクリプト好きw