YappoLogs: WWW::2chを正式リリース
WWW::2chを正式リリース 2ちゃんねるのスレッドを簡単に取り扱うWWW::2chをCPANにageました。 WWW-2ch-0.04 ・ローカルにあるdatをパースするメソッドの追加 ・キャッシュされているdatを取り出すメソッドの追加 ・各プラグインで利用するサイトのencodeの取得 ・Jbbsのサポート などが追加されています。他にも痒いとこに手が届きそうなものも追加してます。 上2つはサーバに接続をせずに手元のデータだけを使用しているので 一度取得したdat等を後でデータマイニングしたい場合に有効になります。 ただしhttp://www.2ch.net/ ２ちゃんねるのデータの利用に関して、原則的に自由ですが、 ２ちゃんねるのデータ自体を利用して対価を取る行為はご遠慮下さいには注意してくださいです。 各種データをサーバから取ってくるときも極力余計な通信を発生させないように注意
サイトのクローリングにはScrappyがすごくいいかもしれない - Perl勉強メモ アルパカDiary出張版
クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、 基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraper という組み合わせでクロールするのが定番でした。 しかしたまたま Scrappy を知り、 少し触ってみたところすごくいいのではないか！？と思い 記事にしてみました。*1 基本系(crawlコマンドを利用する場合) my $scrappy = Scrappy->new; $scrappy->crawl('１．クロールするルートURL', '２．URLにマッチするパス' => { '３．コンテンツにマッチするxpath or CSSセレクタ' => sub { my ($self, $item) = @_; # ４．キューに追加 $self->queue->add($item->{href
CPANモジュール開発者向けのWindowsテスト環境 | OSDN Magazine
Windows向けのPerlディストリビューション「Strawberry Perl」開発者であるAdam Kennedy氏は7月19日（オーストラリア時間）、MicrosoftオーストラリアとStrawberry Perlとの提携によるPerlテスト環境「CPAN Testing Laboratory」の一般アクセスを開始したと発表した。同テストラボはCPAN（Comprehensive Perl Archive Network）モジュール開発者に向けてWindows環境を無償で提供するもの。 Kennedy氏は2008年末、Microsoftオーストラリア、Microsoftのパートナーであるホスティング企業Emantra、Strawberry Perl（オーストラリア）と提携を結び、PerlのモジュールレポジトリであるCPAN開発者がMicrosoft環境にアクセスできるよう取り組みを
CPANモジュールをスクリプト一発で依存解決しつつrpm化する - とあるはてな社員の日記
少し前にmizzyさんに そういえば、まっさらなサーバを30分で本番投入できるようにする で stanaka さんが「CPANの依存関係を解析してrpm化する手製スクリプトで、CPANモジュールのrpm化が、ほぼ自動化されています」と書いてるんだけど、これって公開してくれないのかなー。 HowToRpmizeCpanModules - mizzy.org - Trac と突かれたので、githubで公開してみます。 http://github.com/stanaka/cpan-dependency/tree/master 突かれたついでにmizzyさんに軽く動作確認してもらったところ、それなりに動いているようです。また、はてなでは、このスクリプトを利用して、日々それなりの数のCPANモジュールのrpm化を行っていますので、だいたいうまく動くのではないかと思います。 CentOSやFedor
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WWW-2ch-0.07 - scraping of a popular bbs of Japan. - metacpan.org
