サイトのクローリングにはScrappyがすごくいいかもしれない - Perl勉強メモ アルパカDiary出張版
クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、 基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraper という組み合わせでクロールするのが定番でした。 しかしたまたま Scrappy を知り、 少し触ってみたところすごくいいのではないか！？と思い 記事にしてみました。*1 基本系(crawlコマンドを利用する場合) my $scrappy = Scrappy->new; $scrappy->crawl('１．クロールするルートURL', '２．URLにマッチするパス' => { '３．コンテンツにマッチするxpath or CSSセレクタ' => sub { my ($self, $item) = @_; # ４．キューに追加 $self->queue->add($item->{href
Web::Query - jQuery風にスクレイピング - tokuhirom's blog
http://frepan.org/~TOKUHIROM/Web-Query-0.01/README.pod Web::Query というスクレイピングフレームワークをかきました。一言でいうと「うごく pQuery」です。pQuery は jQuery とおなじ動きにするためかどうかしりませんが、わりと自前で実装していて、結果まともにうごいていません。うごくようになるのをまってようかなとおもっていたら2年経過していたので、自分でつくってみました(パッチをおくってもいいのだけど、別個の実装をつくったほうがはやい気がしたので)。HTML::TreeBuilder::XPath + HTML::Selector::XPath + LWP::UserAgent という構成です。 使用例は以下のとおり。 use Web::Query; wq('http://google.com/search?q=f
Perl公式ドキュメント日本語版
このサイトは Perl の公式ドキュメントを日本語翻訳したものを表示するサイトです。翻訳データは、perldocjp project からとってきたものです。 類似のものに perldoc.jp がありますが、それよりもみやすくなるようにがんばってみました。 ドキュメント一覧 概要(overview) perl - Perl の概要 perlrun - perl コマンドの実行とオプションについて チュートリアル perldebtut - デバッグのチュートリアル perlopentut - Perl でいろんなものを開くためのチュートリアル perlpacktut - pack と unpack のチュートリアル perlreftut - Mark によるリファレンスに関するとても短いチュートリアル perlretut - Perl の正規表現のチュートリアル perlt
何故オライリーの本を買うのか - komagataのブログ
（KLab×はてな エンジニア応援ブログコンテストへの応募エントリーです。） 会社の本棚には僕の個人的な持ち物であるオライリーの本が多い。最近もC++を勉強するためにとこれまたオライリーの"C++実践プログラミング"を買った。会社でC++に詳しいShu MASUDAさんは不思議そうに、 「何でその本を買ったんですか？」 と聞いてきた。確かにC++ならば他に良書が多数あるし、オライリーの"入門C++プログラミング"は大きく期待外れだったし、オライリーの本の翻訳は品質もバラバラなので当然の疑問だ。 Perlがわからない 2002年の暮れ頃、深夜の会社で一人、Perlモジュールのソースをわけも分からず端から読んでいた。5日間の期限でキャンペーン応募フォームの作成を命じられたためだ。その頃の僕は専門学校での教科書レベルのCと前職で使ったVBやASPのWindows上のWebアプリ経験しか無く、Pe
ドキュメントとテストコードつきのPerlスクリプトを書く方法 - kazuhoのメモ置き場
Re http://d.hatena.ne.jp/perlcodesample/20091130/1258979624, http://mt.endeworks.jp/d-6/2009/12/scriptsubimport.html スクリプトとコードとテストを単一のファイルにまとめたい*1という需要が、かねて自分の中であったので教えを請うた結果、以下のような感じで書けばいいことがわかった。 #! /usr/bin/perl use modules...; my $global = ...; sub foo { ... } sub bar { ... } run_tests() if $ENV{HARNESS_ACTIVE}; # メインのコード foo(); bar(); ... sub run_tests { ... exit; } __END__ =head1 NAME my_scr
おさかなラボ - Perlの日本語ドキュメントポータルは速やかに刷新すべき
と思いこんなものを作ってみました。α版なので細かいツッコミは歓迎ですが寛容にお願いします。当然気づいているバグもあるのですが、ケツを叩かれるとのそのそ動くのが私の習性なので。デザインの著作権を侵していますが、勝手な都合でsearch.cpan.orgの方から警告があるまではこのままにします。 http://kaede.to:8000/ 断言します。日本のPerlコミュニティには、このような、別の形の日本語Perlドキュメントポータルが絶対に必要です。 これは、しばらくは動くようにしておきます（なるべく・1ヶ月くらい？）。その後状況をみてなるべく当社とは関係ない（最終的には全く関係ない）ドメインでどこかに移転します。それ以降にデッドリンクになっているのを見つけた方は、canadie at gmail まで一言頂けると助かります（他力リマインダ）。 なお動いているのは弱小サーバーでしかも多段P
現代的なPerlの記述方法一覧 - Perl入門ゼミ
Perl › here Perl5.8以降における標準的なPerlの書き方を解説します。 インターネットで検索するとPerl4のころの古い記述がたくさんあります。また書籍などの多くもPerl4の記法で書かれています。Perl4の記法は複雑になりやすく間違いを生みやすいのでこれからPerlを書く人はPerl5の現代的な記法で記述することを強くお勧めします。 strictプラグマとwarningsプラグマ (必須) strictプラグマとwarningsプラグマを有効にします。 use strict; use warnings; use strict;とuse warnings;の２行はスクリプトの最初に必ず記述してください。これらはPerlの文法チェックを厳しくするためのものです。面倒だという軽い気持ちでこれを記述しないと後々本当に面倒なことになります。 use strict;とuse wa
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Web API のすすめ