第10回 ジョブキューで後回し大作戦―TheSchwartz、Qudo、Q4M（1） | gihyo.jp
本連載では第一線のPerlハッカーが回替わりで執筆していきます。今回のハッカーはnekokakさんこと小林篤さんで、テーマは「ジョブキューで後回し大作戦」です。 ジョブキューとは 一時代前は時間のかかる処理もすべてWebアプリケーションで行っていましたが、最近ではいろいろな部分で処理の非同期化が行われるようになってきました。たとえばWebのインタフェース側ではAjaxがその最たるものでしょう。アプリケーションのバックグラウンド側でも今回のテーマであるジョブキューと呼ばれるしくみが多く利用されるようになりました。ジョブキューを賢く上手に利用することで、ユーザにストレスを与えることなく、またサーバのリソースも有効に使えるようになります。 ジョブキューは延々と動き続けるバッチ処理、というイメージが最もわかりやすいでしょう。通常のバッチ処理であればcrondを利用し、一定周期でプログラムを起動して
Perlのメモリ保存型Job Queueフレームワーク入門覚書 ~ClutchとGearmanとWorkerのFork~ | hirobanex.net
お仕事をメモリに保存するタイプのジョブキューフレームワークのGearmanとClutchをそれぞれ使ってみて、実用的なワーカーのforkのコードを書いた、そのあたりの備忘録を、Hachojio.pmでLTした内容です。 やりたいこと ~なんでJob Queueとか使おうとしたのか~ なんで入門するかって話ですが、こんな経緯があったのです。「いくつかのAPIをたたいてその結果を集約して返したい」、あるいは、「たくさんAPIをたたきたいんだけど短時間で処理して、結果を返したい」と思ったんです。つまり、「並列処理をしつつ、結果をまとめて返したい」ということ実現する必要が出たんですね。それで、Perlでじっそうするとなると、以下の4つから選ぶんだと思います。 Coro AnyEvent Fork Job Queue AnyEventとかCoroとかは並列処理をさせる中身によって気にしなきゃいけない
引数の明示という観点からのPerlモジュール群 | hirobanex.net
Perlモジュールのバリデーターと呼ばれるジャンルのモジュールなどをバリデーションという観点ではなく、引数を明示するという観点から整理しました。 バリデーターの種類 バリデーターというものは、一般的に引数が期待される型など(整数か、文字列か、URLか、メアドか等)になっているかどうかをチェックするというものです。特に、Webアプリにおけるフォームから入力されるデータのチェックに活用されることが多いです。そういういった意味から、Perlのバリデーターモジュールはフォーム系と非フォーム系に分類することができます。 フォーム系のバリデーター等 FormValidator::Lite CPAN本にも紹介されている強力なフォームバリデーターです。フォームバリデーターとしては、フォームの型の定義、チェック、エラーメッセージの定義、が必要ですが、やりたいであろうことのだいたいがそろっているモジュールで実
metacpanに++しよう - トミールの技術系日記
https://www.facebook.com/n.tomita/posts/10151588193792010 めんどくさいことはいつまでたっても面倒なので、簡単なところからまず perlのエコシステムであるcpanについては、ひごろ search.cpan.org ではなく https://metacpan.org/ を使うようにし、一案件終わったら（もしくはなんとなくイイネと思ったらすぐ） 該当モジュールを ++ すると良いんじゃないか。 Makefile.PLとかcpanfileからモジュール抜いてまとめて++する君があってもいいかもね gemなどにもいえることだけど、モジュール検索エンジンは一番いいのを出すというところまで進化するのむずかしい。モジュールの更新量はなんだかんだでハンパないし、世の中的にどんどんキラキラネームが増え名前だけじゃ何をしたいものなのかわからないことが増
Harriet ー テストのときつかうにデーモンの取扱を簡単にするためのフレームワーク - tokuhirom's blog
https://github.com/tokuhirom/Harriet/https://metacpan.org/module/TOKUHIROM/Harriet-0.01/lib/Harriet.pmテストのときにつかう mysqld, memcached, stf, groonga あたりのデーモンを、.t 単位で起動していては遅くてかなわない。かといって、あらかじめ起動させておくというのも。。 というわけで prove のプラグインとしてよしなにする、みたいなのをがんばってかく、というような試みがおこなわれてきたわけですが、どうもめんどくさい。 なんか適当にやったらうまくうごく、っていうかんじのカジュアルなツールがほしいな、なんておもったりするわけですよ そこで、Harriet ってのをつくってみました。 なんかこう、t/harriet/mysqld.pl っていうファイル名でこん
Data::Dumper が壊れているという惨事 - Islands in the byte stream (legacy)
あるいは PERL_CPANM_OPT=-n は危険だという話。 それはこのtweetから始まった。 結局これは Data::Dumper 2.143 が壊れていたからなのだが、そこに至るまでがちょっと大変だったので記録しておく。 まず、再現スクリプトは以下のものだった。 # executed in perl 5.10.1 use strict; use warnings; use Data::Dumper; use Text::Xslate; my $tx = Text::Xslate->new({ syntax => 'TTerse' }); my $template = <<TMPL; [% value | dump %] TMPL my $value = +{ 'ab' => 'c', }; print Dumper($value); my $ret = $tx->render_s
IPC::Open3 の正しい使い方 (re .pl な config ファイルのコンパイルがとおるかチェックしてみる - TokuLog 改メ tokuhirom’s blog) - kazuhoのメモ置き場
http://d.hatena.ne.jp/tokuhirom/20100813/1281666615 の件ですが、IPC::Open3 の使い方が気になったので、勝手に添削 (c) dankogai。 use IPC::Open3; ... my($wtr, $rdr, $err); my @cmd = ($^X, (map { "-I$_" } grep { !ref $_ } @INC), '-c', $file); my $pid = open3($wtr, $rdr, $err, @cmd); waitpid($pid, 0); IPC::Open3 は子プロセスの標準入出力と標準エラー出力を、親プロセスとパイプでつないでプロセス間通信を行うための仕組みです。 パイプには一定サイズのバッファがあり (Linux だと 4KB)、パイプにこれを超える大きさのデータが書き込まれると、
stop shipping MYMETA to CPAN
You’re a new CPAN author (congratulations!) or you have an old distribution that is about to be updated for the first time in years, and you find MYMETA.yml and MYMETA.json in your working directory that git or shipit warns about. You think: What are these files? Should I package these files? tl;dr — add MYMETA.yml and MYMETA.json to .gitignore and MANIFEST.SKIP (if you have one), and do not inclu
XML::XML2JSON
NAME XML::XML2JSON - Convert XML into JSON (and back again) using XML::LibXML SYNOPSIS use XML::XML2JSON; my $XML = '<test><element foo="bar"/></test>'; my $XML2JSON = XML::XML2JSON->new(); my $JSON = $XML2JSON->convert($XML); print $JSON; my $RestoredXML = $XML2JSON->json2xml($JSON); DESCRIPTION I used Google for inspiration: http://code.google.com/apis/gdata/json.html In short: The response is r
Chiba.pm #1 に行ってきた ( #chibapm ) - WebService::Blog->new( user => ’hide_o_55’ )
10/20(Sat)に開催されたChiba.pm #1に行って来ました。 ほとんどPerlを触ったことがないという方も、近くでやっているということで来てくれたようです。 今回はじめてLTをやったという人もいたので、こうして発表する人の裾野を広げていけるといいですね。 千葉出身ということもあって、地元のコミュニティを応援する意味でも今後もできるだけ参加していきたいです。 主宰の@kaztrさん、参加者のみなさんお疲れ様でした。 自分のLT PerlのArangoDB Clientについて、作る際に考えたことなどを発表しました。 ちなみにgitリポジトリはhttps://github.com/hideo55/p5-ArangoDBです。 LT LTのざっくりとしたメモです。 (名前はATNDに登録してる名前にしてます) Arveltさん はじめてのPerl CSVを読み込む/ディレクトリ一覧表
YAPC::Asia 2012にフル参加してトークとLTもしてきた #yapcasia - As a Futurist...
今年は前夜祭〜ハッカソンまでフルコースで参加することができました。とても実り多いカンファレンスでした。 前夜祭 いろんな人とお話してたら食事食べるの忘れてて、でも無限ビールあるのでずーっと飲んでたらたいそう飲み過ぎました。。。久々に Hokkaido.pm の方々にお会いしたり、ささたつさんいじったりして楽しく過ごせました。フリークアウトさんの「50ms or die」はどう見ても「50 メートル走 or die」にしか見えませんでした！すみません！ 二次会はさくら水産でビール大ジョッキ連発しつついろんな話をできて楽しかったです。ただ、マジで飲み過ぎて何をしゃべったのかはあまり覚えておりません。。。後半、外国人の方が合流されてたので、せっかくなので英語でお話させてもらいました。 1 日目〜英語で 20 分トーク〜 完全に二日酔いで朝から本当に気持ち悪い。。。TL を見るとどうやら昨日一緒だ
Perl's first real CUDA bindings released | David Mertens [blogs.perl.org]
Since my first blog post back in December I've written and made thorough use of a simple Perl interface for CUDA. Today, I've posted it on github, and in this post I'll give a relatively simple example of how to use CUDA with Perl via Inline::C. (In case you're wondering, CUDA is a technology provided by nVidia that lets you compile and execute highly parallel code on your CUDA-capable video card.
Perl「言語」初心者がモダンなPerlを高速に学ぶ方法 | gihyo.jp
ほかのプログラミング言語を使える人がPerlを学ぶ際、どのように学んでいけばよいかをまとめたブログ記事です。ブログ筆者は、特にPlaggerのソースを読むことを主張しています。Plaggerのコードリーディングが勉強になることは多くのPerlハッカーが主張しており[1]、Plaggerの作者である宮川達彦氏の書くソースは、Plagger以外のものも、どれもこれ以上ないというくらい整然としており、リーディングに適しています。 ブログ記事では書籍についても述べています。現在オライリー・ジャパンなどの出版社から良質のPerl本が多く出ていますが、PlaggerのようなモダンなPerlコードで書かれてない、と注意をうながしています。あくまでもコード例に関してはそのまま鵜呑みにせず、参考程度に読むのがよいようです。 記事では最後にPerlの動向を追いかける方法を紹介しています。現状ではWebフレー
[Perl] my と local と our の違いについて - 竹迫の近況報告
404 Blog Not Found:perl - myとourとscopeと みんな難しく考えすぎです。 （例外については後で考えることにして）とりあえず以下の基本をおさえておけば混乱することはないと思います。 ■ our 宣言について our はグローバル変数をスマートに使用するための宣言です。our は use vars と等価と考えてください。 our $var; は use vars qw($var); と等価。 our $var = 1; は use vars qw($var); $var = 1; と同じ動きをするもの、と覚えておけばOKです。それ以上の違いは基本的にないと考えて構いません。 ひとつ実用上の違いがあるとすれば、our は Perl 5.6 以降の built-in なのに対して、use vars は vars.pm の Perlスクリプトで実装されています。し
![[Perl] my と local と our の違いについて - 竹迫の近況報告](https://cdn-ak-scissors.b.st-hatena.com/image/square/e92af714c36668a34ee1fdf7dd8464828acfcc1d/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F8454420450103834818%2F17680117126987713958%2F1551691469)
ロリポップで動く簡易Twitterブラウザアプリを作ってみる。 - htgc tech blog
前提 以下のモジュールで立ち上げます。 フレームワークはMojolicious::Liteを使用 Net::Twitter::Liteを使用 デプロイ ここにかなり時間を要してしまった。 上記の２つのモジュール以外に用意したモジュールは以下の通り。 JSON::Any Net::OAuth Class::Accessor Twitterの開発者ページでアプリケーションを登録します。 ローカル環境で試験する場合も適当なURLを指定する必要があります。 localhostとかだと登録できなかった気がしますが、実際に公開するまでは使いません。 今回はブラウザアプリケーションで登録しました。(違いは認証後ユーザがPINの入力が必要なのがクライアントアプリケーション, コールバックのURLで認証処理を行うのがブラウザアプリケーションだと思います) さらに今回は読み取り専用にしてあります。(登録後に変
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CPANasium
http://papix.hateblo.jp/entry/2013/03/06/113229
Personal Website of Yakov Shafranovich » Blog Archive » Converting JSON to XML with Perl
Using Imager getpixel
http://atnd.org/events/33797