Linuxでマルチプロセスなスクリプトをサクッと作る！ - Qiita
背景 数万件のバッチ処理を回したいのだけど、シーケンシャルにしか処理されず時間がかかってしょうがないってことありますよね。 自分はこの前そうでした。 手っ取り早くマルチプロセスにするためのバッチを書いたら思いのほか使い勝手が良かったのでこちらにメモって置くことにします。 環境 Centos7 Perl5.x やりたいこと 数万件のデータ処理 1件の処理自体はコマンド一発 入力データは1ファイルに纏めて、各プロセスが参照されるようにしたい 非エンジニアでも簡単にプロセス数を調整したい 個人的な趣味によりPerlで実装したけどなんでも良い アプローチ bashでマルチプロセス処理をさせる簡単な方法は&を使ってバックグラウンド処理させたり、xargs -Pを使う方法があるけど、今回は入力データは1ファイルにまとめておきたく、ロック処理が必要なため手組みで実装することにした。 処理としてはシンプル
俺メモ - Qiita
完全に自分用のメモです。 よく忘れるけどググると時間がかかるものをここにメモします。 dieしたり、Ctrl+Cした時にスクリプトを終了させずにコンソール起動して変数確認したり、perlコードを試したりするプチテクニック デバッグしていて動作がおかしいからprintfデバッグしているとアレもコレもと出力してどんどんコードが汚くなった上に時間がどんどん過ぎて言ったり、 はたまた始めてのモジュールで動作があまり良くわからず、ドキュメント片手にトライアンドエラーしながらコードを書いては、激非効率なコーディングを強いられている時にちょっとだけ便利になるかもしれないテク テクって言っても大した事ないが、終了させずにシグナルフックしてコンソールからの入力をeval実行するようにしておくと、シグナル発生のタイミングの変数確認したり、perl実行したりすると便利かも while(1){ $SIG{'INT
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
