サイトのクローリングにはScrappyがすごくいいかもしれない - Perl勉強メモ アルパカDiary出張版
クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、 基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraper という組み合わせでクロールするのが定番でした。 しかしたまたま Scrappy を知り、 少し触ってみたところすごくいいのではないか！？と思い 記事にしてみました。*1 基本系(crawlコマンドを利用する場合) my $scrappy = Scrappy->new; $scrappy->crawl('１．クロールするルートURL', '２．URLにマッチするパス' => { '３．コンテンツにマッチするxpath or CSSセレクタ' => sub { my ($self, $item) = @_; # ４．キューに追加 $self->queue->add($item->{href
Perl5.8 の UNICODE 対応
perl は 5.8 から Unicode(utf-8) がサポートされました．5.6 でも Unicode に対応はしていましたが，ぜんぜん使い物にならず，ようやく 5.8 でまともに使えるようになったということです．ただせっかく使えるにもかか わらず perldoc などを見てもイマイチ使い方がわからないので，独自にまと めてみたのがこのページです． 誤った書き方や勘違いをしてい ることもあるので，形式的ですがこのページの内容は無保証です． 内容 文字コード変換 perlIO jperlからの移行 UTF-8フラグ 文字コード自動判別 Unicode Standard Unicode 正規化 その他 参考資料 文字コード変換 とりあえず perl5.8 で新しく組み込まれた機能を見るために，euc-jp から shift_jis への変換スクリプトをいくつか載せます． openを利用し
Perl-5.8 MEMO
Perl-5.8 覚え書き Last Updated at $Date: 2005/12/04 04:00:59 $. このページは，Perl-5.8.2 を使う上で困ったことなどの覚え書きです． 日本語を含むスクリプトを書く 日本語 EUC でスクリプトを書く UTF-8 でスクリプトを書く 日本語を含むファイルを開く 連想配列で日本語を使う 日本語を含む正規表現 文字コードの自動判定 古い Perl でも実行できるように書く 未解決の問題 日本語を含むスクリプトを書く Perl-5.8.x で日本語を扱うスクリプトを書く場合，大きく2通りの方法があります． 日本語 EUC でスクリプトを書く． UTF-8 でスクリプトを書く． どちらの方法でも， (1)ファイル入出力， (2)データベースアクセス， (3)プロセス間通信の3つに気をつけて， 明示的にバイト列を文字列に変換したり，また逆
図解: Perl と Unicode 文字列 - daily dayflower
id:tomi-ru さんが [http://e8y.net/mag/015-encode/:title] というとてもプラクティカルな [http://search.cpan.org/perldoc?Encode:title=Encode] 入門をお書きになったので，わたしも違う切り口で書いてみたくなりました。 いちおうの基礎（読み飛ばし可） 文字セット, キャラクタセット, 文字集合, 文字集合 - Wikipedia エンコーディング, 符号化方式, 文字符号化方式 - Wikipedia この2つは異なります。とくに知らなくても下記の文書を読むことはできますが，理解しているとためになります。くわしく知りたい人は自習してください。 文字セットの例 Unicode JIS X 0208 ひらがなとかカタカナとか漢字とか ASCII 文字 エンコーディングの例 UTF-8 ISO-202
FrontPage - Perlish Magazine
Perlish Magazine 20060401 号 『Perlish Magazine』は、Perl に関する技術記事はもちろんのこと、Perlish へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 目次 巻頭言 書いた人：Perlish Magazine 編集長 高橋征義 編集長からの 20060401 号発行の挨拶です。(難易度：高) Perl の歩き方 Perl をはじめるにあたって必要な情報をご紹介します。本稿は Perlish Magazine 常設記事です。(難易度：低) Perlish Hotlinks 〜結城浩さん〜 Perlish へのインタビュー企画。今回は多くのプログラマ向け著作で有名な結城浩さんにお話をお聞きしました。(難易度：いろいろ) 標準添付ライブラリ紹介 〜Encode〜 書いた人：Ktat Perl をインストールすると、最初からいろい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今日のCPANモジュール（跡地） 目次
http://www.uni-giessen.de/faq/archiv/perl-faq.emacs-lisp-modules/msg00000.html
Perl Webget Project
List Of Pornstars - Porn Models - SloppyKnees
The CPAN Search Site - search.cpan.org