Parallel::ForkManager 使って並行ダウンローダ作った - 理系学生日記
Parallel::ForkManager はじめて使ったけど、これスゴい使いやすいなって思いました。 3 並列でダウンロードさせるにはこんなかんじ。 $ youtube-downloader -v -p 3 -f ~/tmp/url.txt ソースこれ。 #!/usr/bin/perl #-*- cperl -*- use strict; use warnings; use Getopt::Long; use Pod::Usage; use Parallel::ForkManager; use WebService::Youtube::Download; our $VERSION = "0.01"; GetOptions( 'h|help' => \my $help, 'f|urlfile=s' => \my $file, 'p|process=i' => \my $process, '
【Perl】Parallel::ForkManagerモジュールで並列処理が便利過ぎて生きているのが辛い - oranie's blog
とあるDBを利用したバッチ処理をやらせようとした時に #スクリプトの一部分 my @list1 = (適当なリストその1); my @list2 = (適当なリストその2); foreach my $value1 (@list1){ foreach my $value2(@list2){ #DBに接続して、あるテーブルのレコード件数countする→ #その結果を別テーブルにUPDATEするSQL実行処理; } }というまあ、foreachでグルグルグルグル回すスクリプトを書いたんですね。 で、まぁこれがクソ重かったんですね。テーブルのデータは全部メモリ上に載っているんですが、 10GB（1億レコードぐらい）ぐらいのテーブルで順番に$value1,$value2の変数を条件に使ってCOUNT()を使用した SELECT文を投げるので、一つのSQL投げたらDB側のCPUコアが100%になってし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
