サイトのクローリングにはScrappyがすごくいいかもしれない - Perl勉強メモ アルパカDiary出張版
クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、 基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraper という組み合わせでクロールするのが定番でした。 しかしたまたま Scrappy を知り、 少し触ってみたところすごくいいのではないか！？と思い 記事にしてみました。*1 基本系(crawlコマンドを利用する場合) my $scrappy = Scrappy->new; $scrappy->crawl('１．クロールするルートURL', '２．URLにマッチするパス' => { '３．コンテンツにマッチするxpath or CSSセレクタ' => sub { my ($self, $item) = @_; # ４．キューに追加 $self->queue->add($item->{href
DBIx::Class::ResultSet
mst: Matt S Trout (project founder - original idea, architecture and implementation) castaway: Jess Robinson (lions share of the reference documentation and manuals) abraxxa: Alexander Hartmaier acca: Alexander Kuznetsov acme: Leon Brocard aherzog: Adam Herzog Alexander Keusch alexrj: Alessandro Ranellucci alnewkirk: Al Newkirk Altreus: Alastair McGowan-Douglas amiri: Amiri Barksdale amoore: Andre
さくらのレンタルサーバーライトプランでCPANモジュールをインストールするためのスクリプト - Perl入門ゼミ
Perl › Mojolicious さくらのレンタルサーバーライトプラン(月額125円)でCPANモジュールをインストールするためのWebアプリケーション(CGIスクリプト)を書きました。さくらのレンタルサーバーライトプランでは、SSHやTelnetを使えないために、CPANモジュールのインストールは障壁の高いものになってはいますが、このツールを使うとあら簡単に、Webブラウザ上からモジュールをインストールすることができます。 Windows上でMojoliciousの開発を始めて、さくらのレンタルサーバーで公開するまでの手順と同じ手順でさくらのレンタルサーバー上にFTPでアップロードしてください。app.cgiのパーミッションは755にする必要があります。 ディレクトリ構成は以下のようにします。 sakuracpanm - app.cgi モジュールのインストールはテキストボックスにモ
Catalystやってみた - Perl日記
土曜日が休みだと心に余裕ができるなあ。 WEB+DB PRESSを初めて買って読んでたらCatalystとMoose使ってたコードが載ってて自分でもやってみたくなったのでやってみたのでその記録。 とりあえずCatalystを自分のMacに入れて、適当に雛形を作る。 % mkdir catalyst_test % cd catalyst_test % catalyst.pl MyTest::Web created "MyTest-Web" created "MyTest-Web/script" created "MyTest-Web/lib" ..... Change to application directory and Run "perl Makefile.PL" to make sure your install is completeなんかいっぱいできた。 中にはCPAN形式でちゃ
Catalyst::Manual::Intro - はじめてのCatalyst
題名 Catalyst::Manual::Intro - はじめてのCatalyst 説明 ここではなぜ、またどうやってCatalystを使うのかを簡単に紹介します。Catalystの挙動について説明し、簡単なアプリケーションを手早く立ち上げる様子をご覧に入れます。 Catalystとは？ Catalystとはエレガントなウェブ・アプリケーション・フレームワークです。きわめて柔軟なのにきわめてシンプル。Ruby on RailsやSpring (Java)、そしてCatalystの元となったMaypoleによく似ています。 MVC Catalystはモデル・ビュー・コントローラ(MVC)というデザイン・パターンを踏襲しているため、コンテンツ、プレゼンテーション、フロー管理といった問題を簡単に切り分けて独立したモジュールにすることができます。こうして切り分けることで他の問題を処
最近の Catalyst の構成
新しく作った開発プロセスの問題点が見えたわけだから、それはそれとして改善すればいいのに。プロジェクトに併せてテーラリングされてないのとか。そういうことを自発的にやれる人たちが必要だというのもわかるけど ■ [catalyst][perl] 最近の Catalyst の構成 最近 Catalyst のエントリをよく見かけるので自分の構成をさらしてみます。コードは CodeRepos にあります。 share - Revision 30441: /lang/perl/Chaostr/trunk 元々は、作ろうとしたアプリがあったんですが、去年の Catalyst confernce 以降、MyApp 的実験場になってます。仕事で作ったものはさらせないので、構成だけ表に出す感じ。ちなみに今のところ Catalyst 5.7 系でしか使ってないです。 あと、Controller クラスのベースで
第4回 Catalyst（前編）---Perl向けWebアプリ・フレームワーク
この記事は，日経ソフトウエア2006年9月号，連載「簡単実装で学ぶWeb技術2006」の第3回「Catalyst――Perl向けWebアプリ・フレームワーク」の再録です。記事は執筆時の情報に基づいており，現在では異なる場合があります。 こんにちは，結城浩です。今回はPerlのWebアプリケーション・フレームワーク「Catalyst」を解説し，簡単なメモ帳プログラムを作ります。 Catalyst（カタリスト）は，Perlで作られたWebアプリケーション・フレームワークです。Catalystを使うと，Webアプリを簡単に作成・テスト・配布することができます。catalystという単語のそもそもの意味は，「触媒」あるいは「促進させるもの」です。Perlのモジュール同士を触媒のようにうまく結びつけて，Webアプリ作成を促進させるという意味の名前なのでしょう。 Catalystのオフィシャルページは
)
Perlメモ/モジュールのインストール(CPAN) - Walrus, Digit.
いくつか、分かっていることとわかっていないことがあります。 以下に分かっている範囲でのポイントを挙げます。 Timeout for inactivity during Makefile.PL? [0]では0(デフォルト)にする ここでTimeoutを指定してしまうと、完了またはタイムアウトの通知にalarm関数を使います。 alarm関数はActivePerlでは実装されていないため、エラーになります。 makeは、perl -V:makeが返すものを使う makefile.plはperl -V:makeが返すmakeプログラムにあったmakefileを作るようです。 perl -V:makeがnmakeを返す場合、dmakeを使うとエラーが発生します。 これ以外の設定は、実施者の任意で構いません。 私が意識して行った設定は以下のものです。 Select as many URLs as y
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1/14 TwitterのAPI仕様変更によりHTTPでのアクセスができなくなる - Web marooon
Data::Plist
perl-mongers.org
Perl の MVC フレームワーク Catalyst に入門してみた : NDO::Weblog:
perl-mongers.org