サイトのクローリングにはScrappyがすごくいいかもしれない - Perl勉強メモ アルパカDiary出張版
クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、 基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraper という組み合わせでクロールするのが定番でした。 しかしたまたま Scrappy を知り、 少し触ってみたところすごくいいのではないか！？と思い 記事にしてみました。*1 基本系(crawlコマンドを利用する場合) my $scrappy = Scrappy->new; $scrappy->crawl('１．クロールするルートURL', '２．URLにマッチするパス' => { '３．コンテンツにマッチするxpath or CSSセレクタ' => sub { my ($self, $item) = @_; # ４．キューに追加 $self->queue->add($item->{href
Calendar::Japanese::Holiday - 日本の祝日を求める - Articles Advent Calendar 2011 Casual
こんにちはこんにちは、sakurako_sです。 日本の祝日を求めるのに便利なCalendar::Japanese::Holidayをゆるふわっと紹介します。 このモジュールには2つの関数があります。 isHoliday() - 指定日が祝日なら祝日名を返す getHolidays() - 指定月の祝日とその名前のハッシュリファレンスを返す コードを見てみましょう。 use strict; use Calendar::Japanese::Holiday; use YAML qw/Dump/; use Perl6::Say; binmode STDOUT, ':utf8'; # 祝日の名前 say isHoliday(2012, 1, 9); # 指定月の祝日 say Dump getHolidays(2012, 1); 実行結果は次の通り。 成人の日 --- 1: 元日 9: 成人の日 振
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
