(閉じる)

はてなブックマーク > コンピュータ・IT > サイトのクローリングにはScrappyがすごくいいかも...

サイトのクローリングにはScrappyがすごくいいかもしれない - perl勉強メモ

d:id:tori243

タグ :

コンピュータ・IT 117 users このエントリーをはてなブックマークに追加

サイトのクローリングにはScrappyがすごくいいかもしれない - perl勉強メモ

cpan, スクレイピング | 01:13 | クローリング楽しいですよね！ perlで高速にクロールしたいのであればGunghoなど使うのがいいかもしれませんが、基本手軽にやりたいことが多いので WWW::Mechanize+Web::Scraperという組み合わせでクロールすることが多かったです。 しかしたまたま Scrappy を知り、少し触ってみたところすごくいいのではないか！？と思いまして記事にしてみました。*1 基本系(crawlコマンドを利用する場合) my $scrappy = Scrap... > このページを見る

最終更新時間: 2011年07月10日01時16分
▼ブログで紹介する

みんなのブックマーク 人気（0） 新着

  • ryoubi ryoubi
    サイトのクローリングにはScrappyがすごくいいかもしれない - perl勉強メモ - 2011/11/10
  • toritori0318 toritori0318
    初100ブクマ超え記念ズザー 2011/07/19

    1 RT

    • @perlism RT !toritori0318: 初100ブクマ超え記念ズザー
  • fuba fuba ,
    よさそう 2011/07/12
  • iox iox
    クロール 2011/07/12
  • McCammon McCammon
    便利そう 2011/07/11
  • heavenshell heavenshell
    モジュール名に py が入ってるから Python のライブラリかと思った…。 2011/07/11
  • sugyan sugyan ,
    おもしろそう。何かの機会に使ってみたい 2011/07/11

    1 RT

    • @perlism RT !sugyan: [perl][cpan]おもしろそう。何かの機会に使ってみたい
  • tzccinct tzccinct ,
    Scrappy はChanges ファイルがちゃんと更新されていない点は残念。 2011/07/10

はてなブックマークを使ってみる(無料)
はてなブックマークって？
はてなブックマークはオンラインでブックマークを管理・共有できる無料サービス。自宅、職場、外出先、どこからでも同じブックマークにアクセスできます。ユーザーはみんなでブックマークを共有して効率良く情報収集しています。あなたもはてなブックマークを始めてみませんか?

このエントリーを含む日記（1）