Parallel::ForkManager 使って並行ダウンローダ作った - 理系学生日記
Parallel::ForkManager はじめて使ったけど、これスゴい使いやすいなって思いました。 3 並列でダウンロードさせるにはこんなかんじ。 $ youtube-downloader -v -p 3 -f ~/tmp/url.txt ソースこれ。 #!/usr/bin/perl #-*- cperl -*- use strict; use warnings; use Getopt::Long; use Pod::Usage; use Parallel::ForkManager; use WebService::Youtube::Download; our $VERSION = "0.01"; GetOptions( 'h|help' => \my $help, 'f|urlfile=s' => \my $file, 'p|process=i' => \my $process, '
【Perl】Parallel::ForkManagerモジュールで並列処理が便利過ぎて生きているのが辛い - oranie's blog
とあるDBを利用したバッチ処理をやらせようとした時に #スクリプトの一部分 my @list1 = (適当なリストその1); my @list2 = (適当なリストその2); foreach my $value1 (@list1){ foreach my $value2(@list2){ #DBに接続して、あるテーブルのレコード件数countする→ #その結果を別テーブルにUPDATEするSQL実行処理; } }というまあ、foreachでグルグルグルグル回すスクリプトを書いたんですね。 で、まぁこれがクソ重かったんですね。テーブルのデータは全部メモリ上に載っているんですが、 10GB（1億レコードぐらい）ぐらいのテーブルで順番に$value1,$value2の変数を条件に使ってCOUNT()を使用した SELECT文を投げるので、一つのSQL投げたらDB側のCPUコアが100%になってし
MySQL 5.5 GA版が出たのでSemisynchronous Replicationを使ってみた - As a Futurist...
こんにちはこんにちは。いつもうちの嫁がお世話になっております。というわけで、ついに 待ちに待った MySQL 5.5 の GA 版である MySQL 5.5.8 がリリースされました。http://dev.mysql.com/doc/refman/5.5/en/news-5-5-8.html 先日の MySQL Casual Talks #1 で@Rkajiyama さんがほのめかしていましたが、期待を裏切らず 年内リリースを達成して頂いた Oracle は本当にすばらしいと思います。Casual User としては このリリースに対して「使ってみたエントリ」で応えるしかない！というわけで早速使ってみました。 まずはインストール インストール方法についてはほとんど MySQL 5.1 と変わりません。InnoDB(しかも 5.1 の plugin 相当)が デフォルトのストレージエンジンに
MySQL-MHAを試してみる - DRY
たまにはAndroid以外のエントリーを。 最近巷で噂になっているMySQL-MHAを試してみる事にする コマンド/手順等はこちらのエントリをだいぶ参考にさせて頂きました。 http://myhome.munetika.mydns.jp/ossdbwiki/index.php/%E3%83%A1%E3%82%A4%E3%83%B3%E3%83%9A%E3%83%BC%E3%82%B8 環境 OS：CentOS release 5.3 (Final) インストールは結構適当にしてあって yum -y update perlが動く環境です。 サーバはとりあえず2台用意して、サーバA(10.13.13.151)は単独一台でマスターとして、サーバB(10.13.13.152)にはmysqlインスタンスを3つ用意して(ポートを別けてMySQLを起動)スレーブとする感じにします。 MySQLは5.1の
続・MCollectiveのインストールと動作確認 - hack in 3 minutes
ずっと前に一度書いたMCollective、#devopsdaysで出てて、チラホラとブクマがついたりしてたのですが、いかんせん情報が古いし、インストールしてただけだしなので再度まとめてみます。 あとOrchestration的なものでいうと、自分の周りの今の状況は Aサービスは管理サーバ全台でのコマンド実行兼デプロイツールを自作している Bサービスはpssh使ってちょっと楽になった Cサービスは未だにsshでログインして頑張ってる みたいに結構バラバラで、じゃあCapistranoとかに一個決めてゴリゴリ頑張るかーというと何かちょっとそういう時代は一旦過ぎてダルくて、もう少しオペレーションフレンドリでいい感じのが無いかを模索していたところ、ちょっと見えてきた感があるのでそれも兼ねて。 特徴とかは以前のエントリに書いたから割愛。 テスト用の構成は mcollective-client, a
myfinder's blog: YAPC::Asia 2011の報告
みなさま YAPC::Asia たのしかったですか。 今年は submit したトークが非採択となったので、rejectconf で発表してきました。 [トーク] 前回以上にトーク後に質問や意見交換に来ていただいた方が多かったのが印象的でした。 正直Perlでソーシャルアプリ書いてる人は少ないだろうし、どちらかというと今回のほうが参加した方々にとってリアルな話題だったのかなと。 [雑感] 昨年 YAPC::Asia 2010 でソーシャルアプリのシステム監視運用について Talk してきました というエントリをあげましたが、今回も運用系の話でした。 仕事上新規の開発は少ないので、こういった話題に寄りがちでPerl成分少ないので、次回に向けてもっといろいろinput/outputをしたいところです。 さて、昨年参加した後 あなたがYAPC::Asiaでプレゼンテーションをする
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
