Pythonでかんたんスクレイピング （JavaScript・Proxy・Cookie対応版）

ソース 以下のようになると思います． スクレイピングしたいページのURLと出力ファイル名を指定すると，ページのタイトルなどがJSON形式で帰ってくる仕組みです． 関数scrapingが本体です． import sys import json import requests from bs4 import BeautifulSoup import codecs def scraping(url, output_name): # get a HTML response response = requests.get(url) html = response.text.encode(response.encoding) # prevent encoding errors # parse the response soup = BeautifulSoup(html, "lxml") # extra

[dkfj]

JavaScript前提のページに対して、SeleniumとPhantomJS使うのが当たり前になってきているなぁ。ちょっと嬉しい