10分で理解する Scrapy - Qiita
Scrapy とは Scrapy とは Python でクローラーを実装するためのフレームワークです Python でクローラーというと BeautifulSoup や lxml などの HTML パーサーがよく使われていますが、 Scrapy はこれらのライブラリと違うレイヤーのもので、クローラーのアプリケーション全体を実装するためのフレームワークです 公式ドキュメントでも、BeautifulSoup と Scrapy を比較するのは、jinja2 と Django を比較しているようなものだと言ってます In other words, comparing BeautifulSoup (or lxml) to Scrapy is like comparing jinja2 to Django. TL;DR Scrapy はクローラーを実装・運用するために欲しい機能がいろいろ用意されている
Scrapy でスクレイピングしたデータを ORM で RDB に保存する - Qiita
はじめに 最近のお仕事ではクローラーを開発するためのフレームワークである scrapy を使ってクローラーの開発をしています。 かつて趣味でクロールをやってみていたとき は色々なコマンドを組み合わせてなんとかやっていたのですが、それと比べると scrapy は遥かに強力で便利なフレームワークだなと日々実感しています・・・。 例えば、 https://blog.scrapinghub.com/ をクロールして投稿されている記事のタイトルとURLをページングもしながら全て取得する処理はたったこれだけのコードで書けます。 def parse(self, response): for post in response.css('div.post-item'): yield Page( url=post.css('div.post-header h2 a::attr(href)').extract_
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
