シェルスクリプト高速化のツボ - 新・日々録 by TRASH BOX@Eel
これは備忘録。 色々あって、まだ具体的なモノを何も作ってもないのにシェルスクリプトのパフォーマンス絡みでネタを収集してしまったので、ひとまずまとめてみた。 shellshock（bashのアレ）があったばかりなので、ちっとばかり微妙かも。 計測してボトルネックを探す まずは何よりも計測すること。time(1)を活用すべし。 データ量が多いと問題が表面化するのが定番のパターンなので、ワンライナー等でさくっとテストデータを作成して実験すると吉。 ループ構文よりもテキストフィルタを使う 一般的には、ループ構文を使うよりも、パイプでテキストフィルタに連結して処理した方が高速だ。 # NG seq 1 1000000 | while read i; do echo "$i"; done # NG # while readほどではないが遅い # （bashでは動いたが、dashやbusyboxのshで
よく使うワンライナー - わすれっぽいきみえ
私がよく利用するワンライナー。 git関連 検索キーワードが含まれるファイル名だけを返す grep -vによる検索除外 git add -p と git commit -v git checkout で1ファイルだけ別のブランチから取ってくる ローカルにあるブランチをリモートにある別名のブランチにpushする リモートブランチをローカルから消す 過去90日間でよく編集されたファイルを抜き出す コマンド再実行関連 昔実行したスクリプトを探す forを使って複数サーバに同じコマンドを実行する ファイル操作 あるファイルの件数を知る git関連 検索キーワードが含まれるファイル名だけを返す $ git grep -l hoge | xargs grep -l foo git grep -l hogeでhogeが含まれるファイル一覧を取得した後、さらにfooが含まれるファイル一覧を吐き出す。 パイ
業務で使うツール(iTerm2,SequelPro,Chrome)をShellScriptでハイパーテクニックする - ハイパーマッスルエンジニア
業務で使うツール(iTerm2,SequelPro,Chrome)を ShellScriptでハイパーテクニックする はじめに この記事は今年イチ！お勧めしたいテクニック by ゆめみ feat.やめ太郎 Advent Calendar 2019の20日目の記事です。 今年は「お勧めテクニック」ということで、業務効率化ｯ!!を盾に業務時間の30％はShellScript遊びに当てている私にピッタリな企画ですね、ありがとうございます。 今回は業務でよく使うツールを、ShellScriptでハイパーテクニックする方法をいくつかご紹介。 今回紹介するコードは全部Githubにあげているので実際に試したい人はどうぞ。 ハイパーテクニックする対象 GoogleChrome iTerm2 SequelPro GoogleChrome ブラウザに移動せずTerminalで自在にタブ移動する Web開発を
xargsで複数行のコマンドを実行する方法 - それマグで！
xargs で複数行のコマンドを実行したい。 出来ない・・・ ls *.txt | xargs -I@ echo @ ; sleep 1 forループならできるんだけど、for ループだとどうしても不便。 xargs でシェルコマンドを作って渡す. xargs だと限界があるので、もうシェルの文字列にして渡すしか、他に選択肢がない。 ls *.txt | xargs -I@ sh -c 'echo @ ; sleep 1' これなら動くんです。動くんです。 xargs が１つ実行するたびに、 sh -c 'echo @ ' の@ の部分にファイルを文字列として入れて渡してくれる。 bash でもいい sh だと機能が少ないので、bashにしてやるという手段も取れる。 ls *.txt | xargs -I@ bash -c 'echo @ ; sleep 1' 条件分岐も もうここまできた
findとxargsでsleepしながらファイル移動する - Qiita
大量のファイルを扱う際に、サーバー負荷を減らすためにsleepでウェイトしながら移動させたい時なんかに。 find ./src/*.zip -print -exec sleep 0.5 \; | xargs -n1 -I%% mv -v %% ./dest/
シェルスクリプトを何万倍も遅くしないためには —— ループせずフィルタしよう - Qiita
🐚 🐚 🐚 🐚 シェルスクリプトは遅すぎて使えない 普通の「速い言語」より何百、いや、何千倍も遅い 他のプログラミング言語を経験してからシェルスクリプトに入門し、このような感想を持つ方も多いのではないでしょうか。 実際、こういったことは往々にして起こり得ますので、「速い言語」を使うべきか否か見極めることは大事だと思います。 しかし、本当にシェルスクリプトというのは、そこまで遅いのでしょうか？ データ量が多い場合は常に最初から「速い言語」で書いた方がよいのでしょうか？ 実は、そうとも限りません。 シェルスクリプトにはシェルスクリプトなりの「速い書き方」があります。 この「速い書き方」で処理できる問題に関しては、シェルスクリプトは「速い言語」なのです。 では、「速い書き方」とは何かというと、端的には「たくさん繰り返されるループはシェルスクリプトで記述しない」ことです。 以下でこれを説明
並列実行はxargsコマンドのマルチプロセスを使うと楽ちん高速化ですね。 - それマグで！
ruby で同時処理のスレッド制御 でスレッド制御しながら、キューを使わずコマンドを並列実行してきた。 よく考えたら、こんな車輪の再発明などしなくても先人の知恵を借りたほうが楽そう。 調べてみたらxargsに同時実行のオプションがあるのを確認した。 max-procsのこのオプションを知って、せっかく覚えたての find -exec 投げ捨てたくなった xargs 最強じゃないですか。 xargs にコマンドを並列実行する方法がある。 -P/ --max-procs オプション --max-procs=max-procs -P max-procs Run up to max-procs processes at a time; the default is 1. If max-procs is 0, xargs will run as many processes as possib
Bash の if 文（test文）のオプションを整理してみた - Qiita
毎回調べるので備忘として整理する。 数値の比較オプション 書式 ： 数値△オプション△数値 例 ： if [ ${hoge} -eq 0 ];then オプション 説明 補足
sed/awkで各文字列をシングルクォーテーション・ダブルクォーテーションで囲む | 俺的備忘録 〜なんかいろいろ〜
コンソール上でスペース区切りになっている各文字列をシングルクォーテーション・ダブルクォーテーションで囲みたいことがあったので、その対応について備忘。 以下のようにコマンドを実行することで、スペース区切りの各単語を囲むことができる。 sedの場合 sedで各単語を囲む場合、以下のようにコマンドを実行する。 sed 's/[^ ]\+/"&"/g' # ダブルクォーテーションの場合 sed 's/[^ ]\+/'\''&'\''/g' # シングルクォーテーションの場合 blacknon@BS-PUB-UBUNTU-01:~$ echo abc def 123 ABC | sed 's/[^ ]\+/"&"/g' "abc" "def" "123" "ABC" blacknon@BS-PUB-UBUNTU-01:~$ echo abc def 123 ABC | sed 's/[^ ]\+/'
Macでシェルスクリプトを .appアイコン化する方法 - Qiita
JMeterをインストールした際、起動シェルをアイコン化したかったので備忘録。 Automator を起動 Launchpad を起動し、検索窓から「Automator」を探して起動します。 Automator のメニューから、ファイル ＞ 新規 で、「アプリケーション」を選択します。 リストから「シェルスクリプトを実行」を選択し、ドラッグします。 起動シェルのパス指定 起動するシェルのフルパスを指定します。 Finderを開いて対象のシェル（今回は jmeter.sh)を、枠内にドラッグでも構いません。 なお、デフォルトで ”cat” と文字が挿入されてるのでこれは削除しましょう。 起動シェルを確認して変更します。 シェルスクリプトの先頭行を確認し、起動するシェルを指定します。 jmeter.sh の先頭行は #! /bin/sh なので、プルダウンから"/bin/sh"を選択します。
dateコマンドで○日前の日付を取得する - hogehoge foobar Blog Style Beta
久しぶりに仕事でbashを書きました。 『date』コマンドで○日前／○日後の日付を取得する方法で、 少しだけハマッたので、覚書として書いておきます。 Linux系の場合 オプション"--date"で"○ day(s)"(○日前の場合は"ago"を付ける)を指定する。 $ date +"%Y%m%d" 20090609 $ date +"%Y%m%d" --date "1 day" 20090610 $ date +"%Y%m%d" --date "7 days" 20090616 $ date +"%Y%m%d" --date "1 day ago" 20090608 $ date +"%Y%m%d" --date "7 days ago" 20090602 BSD系の場合 オプション"-v"で"+○d"(○日前の場合は"-")を指定する。 $ date +"%Y%m%d" 200906
シェルスクリプトで一日前の日付を求める - すがブロ
ログローテーションを行うときに、ファイル名を付けるにあたって、１日前の日付を求める必要があった。 主にこのサイトを参考にシェルスクリプトを組んでみた（http://www.toshikazu.org/archives/000087.html）。 しかし、どうも date コマンドの動作がおかしいようだ。 で、原因を探ってみると、 `date -v-1d +%Y%m%d` の -v-1d という部分が使用できていないようだ*1。 で、それではどうすれば良いか？ ちょっと調べてみた。 方法としてはタイムゾーンを上手いこといじくる方法もあるみたいだったが、なんとなく面倒そうだったので他の方法を探してみると……あった。これはすごい。 date --date '1 day ago' とすると１日前の日付を表示してくれる。 だもんで、一番上のような状況ではこう書けば良いようだ。 `date --dat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Parallel processing in awk?
GNU parallel used with xargs and awk
Bash Shell awk/xargs magic
https://github.com/NomadBlacky/nomadblacky.github.io/blob/911c5797207739c7db083d2c59a5906075c647ff/posts/2018-03-18-111619-scalamatsuri.md
xargsで処理の間にsleepを挟む - Qiita
GitHub - sqshq/sampler: Tool for shell commands execution, visualization and alerting. Configured with a simple YAML file.
GitHub - JoshuaMart/AutoRecon: Simple shell script for automated domain recognition with some tools
https://apple.stackovernet.xyz/ja/q/70409