PythonのWebクローリングとスクレイピングのフレームワークであるScrapyの使い方をサンプルコードとともに説明する。 Scrapy | A Fast and Powerful Scraping and Web Crawling Framework 以下の内容について説明する。具体例はYahoo! Japanを対象としている。 クローリングとスクレイピング ScrapyとBeautifulSoupの違い Scrapyのインストール Scrapyの基本的な使い方 単独のページをスクレイピングする例 リンクを指定してクローリング、スクレイピングする例 リンクを抽出してクローリング、スクレイピングする例 リンクを抽出して再帰的にクローリング、スクレイピングする例 Scrapyのバージョンは1.5.0。バージョン1.1からPython3にも対応している。 レポジトリは以下。 nkmk/scr
![Python, Scrapyの使い方(Webクローリング、スクレイピング) | note.nkmk.me](https://cdn-ak-scissors.b.st-hatena.com/image/square/3df739bfe3eee8a70d4b51f1bf7540a78f083dd9/height=288;version=1;width=512/https%3A%2F%2Fi.gyazo.com%2Fff9cf9d41bf2315e389975db1e847d3d.png)