POSIX準拠シェルスクリプトでマルチコアの能力を活用する並列処理の実装（最大並列数あり、GNU Parallel, xargsなし） - Qiita
実は最大並列数の制限がなければジョブ（標準入力からの一行単位のデータ）の数だけバックグラウンドプロセスを起動すればいいのでかなり簡単に実装できます。ですが普通は嫌ですよね？ということで最大並列数を制限する処理を入れています。また通常の利用で必要になりそうな CTRL-C と TERM シグナルへの対応もしています。 #!/bin/sh set -eu [ "${ZSH_VERSION:-}" ] && setopt shwordsplit MAX_PROC=4 # 最大並列数 # INT(CTRL-C)、TERM による終了処理 terminate() { trap '' TERM kill -TERM 0 exit "$1" } trap "terminate 130" INT trap "terminate 143" TERM # trap : CONT # 並列で実行される処理 fu
はじめに シェルスクリプトに関しての長所と短所をまとめてみました。多くの短所を上げていますが、私はシェルスクリプトを嫌っているわけではなく（むしろ逆）、現在のシェルスクリプトが抱える問題点を明らかにし、シェルスクリプトはどう使うべきか？ またはどう使うべきではないか？ 問題点があるならばそれを解決することはできないか？ を考えるためにまとめています。問題を解決するにはまず問題点を明らかにしなければいけません。 またシェルスクリプトを本来の用途に合わないものに使うと逆に開発が難しくなってしまいます。それは使い方が悪いわけでシェルスクリプトの問題ではありません。間違った使い方によってシェルスクリプトの価値が不当に下げられてしまうことを減らすために、あえて多くの短所をあげています。つまり最初からこんな用途に使おうと思うな。ということです。（使うことを禁止はしませんが、わかった上でやりましょう。実
Preliminaries What Is xargs? It's an adapter between text streams and argv arrays, two essential concepts in shell. You pass it flags that specify how to split stdin. Then it generates arguments and invokes processes. Example: $ echo 'alice bob' | xargs -n 1 -- echo hi hi alice hi bob What's happening here? xargs splits the input stream on whitespace, producing 2 arguments, alice and bob. We passe
xargs 完全理解マニュアル - xargs は拡張引数 (extended arguments) の略って知っていますか？ - Qiita
xargs 完全理解マニュアル - xargs は拡張引数 (extended arguments) の略って知っていますか？ShellScriptUNIXシェル芸POSIXUnix哲学 はじめに xargs コマンドは「なにか凄そうだけどよく分からないコマンド」としてよく知られています。使う人は使うけど何をやっているのか全くわからないコマンドです。また、やっていることがわかっても実際に使ってみると、空白やクォーテーション文字でエラーになってしまう使い方がとても難しいコマンドです。この記事はそういうよくわからない xargs はどういうコマンドなのか解説します。この記事を読むと xargs を「完全に理解した」と言えるようになるでしょう。 xargs コマンドが難しい理由は、xargs 自体の設計や実装の問題で古い時代の制限が多いからです。仕様が意味不明で一貫性がなくで他のコマンドと正しく
LPT_LISA
Linux Productivity Tools Ketan M. (km0@ornl.gov) Oak Ridge National Laboratory 1 LISA19 October 2019 Portland, OR, USA Table of Contents • Part 1: Overview and Logistics • Part 2: Basics • Part 3: Streams, pipe and redirection • Part 4: Classic Tools: find, grep, awk, sed • Part 5: Session Management: tmux • Part 6: ssh: config and tunneling • Part 7: Bash Tools • Part 8: Miscellaneous Utilities •
はじめに 宇宙を志す人向けのソフトウェアの基礎について、在宅でも出来るように簡単に紹介してみます。対象は、ソフトウェアは授業で少しやりました、くらいの学生さんあたりを想定してます．(2020.4.9. とりあえずの初版, 2024.4.11追記). google Colab, tex, overleaf, beamer, 発表スライドの作り方、などは下記を参照ください。 宇宙の研究を始める人向けの google Colab を用いたオンライン学習 宇宙の研究を初める人向けの tex + overleaf + beamer の使い方 宇宙天文分野で発表資料を作成する時に気をつけて欲しい10個のルール 基礎知識編 ソフトウェアとは何か？なぜ大事なのか。 ソフトウェアとは端的にはコンピュターの世界の言語で、言語とは、「自分の考えを相手に伝える」「相手の考えを理解する」ために必要なツールともいえま
逐次編集 開発ツール tier 1 よく使うもの https://github.com/dtolnay/cargo-expand - マクロを展開して確認 https://github.com/rust-lang/rustfmt - コードフォーマッタ https://github.com/rust-lang/rust-clippytest - linter https://github.com/rust-lang/rustfix - コード書き換え https://github.com/passcod/cargo-watch - file watcher https://github.com/kbknapp/cargo-outdated - 古い依存の確認 https://github.com/RustSec/cargo-audit - 脆弱性の確認 https://github.com
はじめに この記事は私がシェルスクリプト用のBDDテスティングフレームワーク ShellSpec の開発を通して得た移植性・可搬性の高いシェルスクリプトを書くための技術のまとめ、および関連する私の記事へのリンク集です。関連する新しい記事を書いたらここからリンクしますので、このページをストックするなりブックマークしておくと良いと思います。 この記事を変更通知目的でストックしている方へ 記事が多くなりリンク集のメンテナンスが大変になったため、この記事の定期的な更新はやめることにします。もし更新通知が必要な方は代わりに私をフォローしてください。ほとんどシェルスクリプト関係の記事しか書いていないためそれで十分目的を果たせると思います。 Q & A なぜシェルスクリプトで書くのか？ シェルスクリプトには他のスクリプト言語にはない特徴が二つあります。一つ目はシェルスクリプトはコマンドを連携させるのに適
シェルスクリプトで「パイプライン並列化」をガチでやってみた 〜 パイプ＋並列処理でCPUの最大効率を引き出す知識 - Qiita
はじめに シェルスクリプトはコマンドをパイプでつなぐだけで簡単にパイプライン並列化を行うことが出来ますが、効率よく並列処理を行えるかどうかは別の話です。ボトルネックやオーバーヘッドがあるので単純にパイプでいくつもコマンドをつないでいくだけで簡単にどこまでも効率よく並列処理が行われるなんて事は技術的にありえません。そんなに簡単なら他の言語でも採用しているはずです。この記事ではシェルスクリプトで「何も考えずに」パイプでコマンドを多数つなげるスタイルが CPU 性能を効率よく使う上でのアンチパターンであることを示し、パイプで CPU を効率的に使ってパフォーマンスをあげたい人が知らなければいけないパイプライン並列化の重要な基礎知識とtime コマンドの読み方を解説します。 コマンドをパイプでつないで並列処理を行うパイプライン並列化は簡単に使えますが、並列処理の手法の中でおそらくもっとも制御が難し
生活保護申請のその後 世界コロナ感染者7週ぶり増加、年内の終息「非現実的」＝ＷＨＯ | ロイター 「宗教系大学は学歴として認めない」人事担当者が言い出したので窘めたら鳩が豆鉄砲を食ったような顔をした話 - Togetter やっぱりウマ娘の記事がステマにしか見えん 佐賀市HP マイナンバーカードなどの情報 1年半閲覧できる状態 | NHKニュース Toshi Ogata (尾形 聡彦） on Twitter: "菅首相ぶら下がり。菅氏が、山田広報官に「女性のきめ細かさ」を期待していたと言及したのに驚きました。きめ細かさは女性、男性を問わず個人差です。その言葉に菅氏の固定化した女性観が表れていました。北海道鈴木記者、朝日楢崎記者の短い更問い… https://t.co/WDBE6C047Z" 日本に来て1ヶ月くらいの頃、謎の念仏を唱える車と遭遇した台湾人。宗教かなって思ったけど実は日本に馴染
はじめに 「100種類の学習済みモデルの性能調査をしておいて、テストデータは10種類あるよ」 こう言われた場合、作業の方法は複数ある。 1. 1000（100 x 10）回試験を実行する。 2. プログラムを書いて自動化し、1回の実行で1000回試験を行えるようにする。 3. テストデータを1つに結合して100回試験を行い、後で10種類に戻す。 1はどんなに1回の試験に時間がかからなくてもまず選択しないだろう。プログラムに多少自身があるならおそらく2を選んだのではないか。 2を選んだ理由は「自動化できてるから待ってるだけで終わる」とか「人的ミスが減り、時間がかからないから」などが挙げられるだろう。 しかし、プログラムの作成に1000時間かかっていたとしたら？それなら3（もしくは1）が最も成果を挙げられる方法となる可能性がある。 また、プログラムの作成に時間をかけて、そのプログラムが今回の試
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
シェルスクリプトの長所と短所のまとめ - Qiita
An Opinionated Guide to xargs
宇宙の研究を初める人向けのソフトウェア講習 - Qiita
便利そうな Rust の crate メモ - Qiita
移植性・可搬性の高いシェルスクリプトを書くための技術まとめ - Qiita
2021/03/02(火)の出来事 - My Bookmark
仕事や研究で使えるGNUParallelによる並列処理 - Qiita