subprocess で timeout が発生した際に子プロセスをまとめてkillする（Python） - arterminalのブログ
課題 解決策 対策概要 発生状況 対策詳細 所感 注意 参考 課題 subprocessモジュールを利用して外部のシェルスクリプトを起動することがある。そのシェルスクリプトにおいて子プロセス（バックグラウンドプロセスなど）が動作している最中に、subprocessで設定したtimeoutが発生した。このとき、直接起動したシェルスクリプトのプロセスはkillされるが、その子プロセスは残存しているようだ。timeoutが発生した際には子プロセスも含めてkillしたいがどうすればよいか。 解決策 対策概要 起動するプロセスを別のセッションとして管理し、python の timeout 例外 catch において、プロセスグループ ID に対してkill する。 発生状況 最初に「課題」の状況が発生する様子を示す。以下のようなスクリプトを用意した。シェルスクリプトでは（subprocessで設定し
shell-logger:シェルスクリプトでのログ整形、Traceback機能を追加
B! 6 0 0 0 前に作った shell-logger というシェルスクリプト用ロガーツールをアップデートして Traceback機能を付けたりしてみました。 shell-logger コマンドラインで使う シェルスクリプトの中で使う Traceback 各種設定 shell-logger shell-logger: シェルスクリプトで良い感じにログアウトプットを管理する etc/shell-logger.sh</del>/etc/shell-logger**というファイルを読み込むと debug, info, notice, warn, errと言った関数が使える様になります。 追記: 2022/08/07 現在はshell-loggerとshを取った名前になっています。 追記ここまで インストールはcurlを使って $ curl -fsSL https://raw.github.c
シェルスクリプトを書くときに気をつけていること（その１） - mikedaの日記
初級者向けに『自分がシェルスクリプト書くときに気をつけていること』をまとめてみました。 @masudaKの『シェルスクリプトを書く際に気を付けていること8箇条』の乗っかりエントリです。 内容は重複しないように書いてますので合わせて読んでください！ 基本的にLinuxの/bin/sh、/bin/bashを想定しています。 テキスト処理は標準入力から受け取って標準出力に出す テキストを扱う小さなツールを作りましょう。 引数はオプション情報を渡すのに使います。 そうすればgrep、sort、uniqなどの便利なコマンドとパイプで連携できます。 grep ERROR /tmp/test.log | my_cmd1.sh 192.168.1.1 | sort 全てを実行する1つのスクリプトを作るのはたいへんだし、応用が効かないです。 人間に伝えたいメッセージは標準エラー出力に出す パイプでつないだ時
NYSOL – 超高速な大規模データ解析を実現するソフトウェアツール
超高速な大規模データ解析を 実現するソフトウェアツール NYSOL makes it easier and faster to analyze big data. NYSOLver2.4.2 SOFTWARE LIST GitHub NYSOL Manual ※NYSOLは日本発のオープンソース（無料）です。 *NYSOL is open source software in Japan LICENSE 最新情報NEWS 2019.06.05 SOFTWARE NYSOLのDockerイメージ公開 2019.05.23 SOFTWARE nysol_pympiのインストールメモ 2018.09.20 INFORMATION WebbleバージョンのKIZUNAを公開しました。 Back Number NYSOLとはABOUT NYSOL 大規模データの解析に関する様々な大学やプロジェクトで
安全な一時ファイルの作成と削除の方法 - 拡張 POSIX シェルスクリプト Advent Calendar 2013 - ダメ出し Blog
拡張 POSIX シェルスクリプト Advent Calendar 2013、6日目の記事です。 本日のお題は「一時ファイルの作成と削除」ですが、 よくあるシェルスクリプトのダメ出しネタになってしまいました。 安全な一時ファイルの作成方法 たとえば、こんな感じのありがち(?)なスクリプトがあったとします。 意味のない処理内容ですが、雰囲気だけ察してください。 #!/bin/bash tmpfile=/tmp/words.tmp rm -f $tmpfile echo 'しにたい' >>$tmpfile echo 'とりあえずねよう' >>$tmpfile sleep 3 echo -n '今どんな気持ち? ' read feeling echo $feeling >>$tmpfile cat $tmpfile rm $tmpfile 全然駄目ですね。 もし「何にも問題ないじゃないか!」とい
「第31回シェル芸勉強会 大阪サテライト」レポート
10/07(土)に東京で行われた「jus共催 第31回朝からだと疲れるから午後からでええじゃろシェル芸勉強会」について、今回も大阪でサテライトしました！ イベント情報 東京(本家) jus共催 第31回朝からだと疲れるから午後からでええじゃろシェル芸勉強会 問題：【問題のみ】jus共催 第31回朝からだと疲れるから午後からでええじゃろシェル芸勉強会 | 上田ブログ 模範解答付き：【問題と解答】jus共催 第31回朝からだと疲れるから午後からでええじゃろシェル芸勉強会 | 上田ブログ togetter：jus共催 第31回朝からだと疲れるから午後からでええじゃろシェル芸勉強会 - Togetterまとめ 今回も、大阪（私達）と、福岡でサテライト会場がありました。 大阪サテライト 第31回シェル芸勉強会 大阪サテライト＠さくらインターネット大阪本社 : ATND 福岡サテライト 第31回シェル
シェルスクリプトでYAMAHAルータ RTX系のNAT変換セッショ数を取得 - 箱庭のエンジニア
概要 YAMAHAルータ RTX系のNAT変換セッショ値を Linuxサーバからcronでシェルスクリプト回して5分ごとの値を取得する。 シェルスクリプトの内容 ・expectコマンド(対話型)を使ってルータにアクセスし、必要情報を取得 ・取得したテキストを加工して、セッション値、日付等を取り出し。 準備 ・expectコマンドのインストール yum install expect ・ルータ内のコマンド NATの動作状態確認 show nat descriptor address all ルータ環境確認 show enviroment サンプル ※cronで回すので、シェルは絶対パスで書く。 ルータにアクセスして必要情報を取得するシェル(rtxnat.sh) 参考： expectコマンドの使い方 – No:158 – Linuxで自宅サーバ構築（新森からの雑記） #!/bin/sh #---
Bash on Windowsが強化、Linux版のJavaやGo、PostgreSQLなどもWindowsで実行可能に。3月リリースのWindows 10 Creators Updateで
Bash on Windowsが強化、Linux版のJavaやGo、PostgreSQLなどもWindowsで実行可能に。3月リリースのWindows 10 Creators Updateで マイクロソフトは来月（2017年3月）登場予定のWindows 10の大型アップデート「Windows 10 Creators Update」で、Windowsに取り込んだLinux機能の「Bash on Ubuntu on Windows」とその背後にある「Windows Subsystem for Linux」（以下、両者をまとめて「Bash on Windows」に省略）の強化を行い、これまで実行が困難だったLinux版のJavaやPostgreSQLなども実行可能になることを、2月8日（日本時間2月9日未明）のイベント「Windows Developer Day - Creators Upda
Linux/Macのシェルを使ってrssの分解をする方法 - ジャンカーな日々
全般的に非力なマシンやサーバでXMLをパースするのはちょっと面倒だったり、プログラム書くの面倒だったりするので、できればシェルだけでXML分解できないかなーっていう、管理人の考えから。 xmllintコマンドを使って分解すればいいじゃん、という結論に至り、スクリプトを書いてみた。 xmllintは redhat系だとlibxml2のパッケージに含まれている debian系だとlibxml2-utilsに入っている OSXは10.3以降は標準で入っていて、見当たらないときはApple Developerで拾ってくる 大まかな使い方 xpathを使う場合は--xpathですが、シェルで使うので--shellオプションを付けます まずは、xmlの標準書式に従っていないデータを校正する必要があったりするので、その場合は xmllint --format "元のファイル" > "標準化したファイル"
MNIST 手書き数字データを画像ファイルに変換する - y_uti のブログ
MNIST 手書き数字データは、0 から 9 までの手書きの数字 70,000 点を収録したデータセットです。機械学習やパターン認識の手法を確認するために利用できます。以下のウェブサイトからデータをダウンロードできます。 MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges データは、訓練データ 60,000 点 (train) とテストデータ 10,000 点 (t10k) に分けられています。それぞれ、手書きの数字を表すピクセルデータ (images) と、それが 0 から 9 のどの数字なのかを示すラベルデータ (labels) からなります。いずれも、バイナリ形式で提供されています。 今回は、これらのデータをバイナリ形式からテキスト形式に変換して、簡単に、データの内容を確認したりス
【標準出力の無駄遣い】bannerコマンドで遊ぶシェル芸人たち
ぱぴろんちゃん😱🙀 @papiron #シェル芸 #banner MacやFreeBSDとかのBSD付属bannerコマンドはカッチョいいbanner出すけど90度回転しちゃうので読みやすく回転するワンライナー。シェルスクリプトにすればコマンド化でけるか？ pic.twitter.com/ywfDCJhhmI 2016-09-24 12:41:09 ぐれさん @grethlen banner -w 40 HAGE|perl -pe 's/$/" "x40/e'|sed 's/ /_/g'|grep -oE '^.{40}'|sed 's/./& /g'|tateyoko|tail -r|tr -d ' '| tr _ ' '|awk NF #シェル芸 2016-09-24 13:01:37
符号化処理芸人たちのシェル芸をPowerShellで再現する - しばたテックブログ
元ネタはこちら。 papiro.hatenablog.jp はじめに 私はシェル芸人ではないので大したことも面白いこともできませんのでご了承ください。 本エントリはシェル芸人たちの匠の技をPowerShellで再現するにはどうするかという点だけに注力しています。 PowerShell(というかWindows)には残念ながら元ネタで使われている各種コマンドが無い*1ため、その部分をPowerShellおよび.NET Frameworkの機能をいかに使って補うかがキモになるかと思っています。 それでは元ネタのお題の順に進めていきます。 特にバージョン依存の処理は書いていないはずですが、Windows 10のPowerShell(5.1)で動作確認をしています。 1. Use Xamarin. お題 最初はちょまどさんのこちら。 01010101 01110011 01100101 001000
【こわい】唐突に暗号解読を始めるシェル芸人達
「シェル芸人」と呼ばれるシェル芸(https://blog.ueda.asia/?page_id=1434)を使いこなす変態達は、140文字に収められた暗号を、おもむろに140文字以内で解読し始める。
GNU Parallel Tutorial — GNU Parallel 20250422 documentation
parallel NAME SYNOPSIS DESCRIPTION OPTIONS EXAMPLES SPREADING BLOCKS OF DATA TIME POSTFIXES UNIT PREFIX QUOTING LIST RUNNING JOBS COMPLETE RUNNING JOBS BUT DO NOT START NEW JOBS ENVIRONMENT VARIABLES DEFAULT PROFILE (CONFIG FILE) PROFILE FILES EXIT STATUS DIFFERENCES BETWEEN GNU Parallel AND ALTERNATIVES BUGS REPORTING BUGS AUTHOR LICENSE DEPENDENCIES SEE ALSO parallel_examples GNU PARALLEL EXAMPL
テストの数を減らそう！プリキュアで学ぶPICT - Qiita
ソフトウェアのテストはたいへんだなあ ソフトウェアのテスト、きちんとしてますか？最近は、スマートフォンやタブレットの普及に伴って、ユーザが使うデバイスの種類が多様化しています。 使われるOSやブラウザ、画面サイズの種類が増える中、プリキュア1の多様化も著しいですね。「プリキュアで学ぶワンライナーWebスクレイピング」で検証した通り、昨年までは43人、今年は「魔法つかいプリキュア」が加わることで、プリキュアの数は総勢45人になりました2。プリキュアはキャラクターによって専用デバイスを持ったり3、感情が昂ぶると常識を覆す事象を起こしたりするので、ITサービスを提供するエンジニアの方々は、ユーザ満足度向上のため、当然プリキュアがユーザになった場合も考慮した動作テストをされていると思います。 とはいえ、プラットフォームとプリキュアの組み合わせの数は、既にかなりの数です。全てのパターンを試すととても
プログラマのくせにシェルスクリプト書けない奴wwwww : IT速報
1:以下、＼(^o^)／でVIPがお送りします 2016/03/03(木) 18:30:52.577 ID:EBWZCXFZ00303.net
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ユニケージ魂
http://slideck.io/github.com/hisaharu/shellgei/slides/shellgei23AM2.md
「第21回シェル芸勉強会 大阪サテライト」レポート
explainshell.com - match command-line arguments to their help text