pythonでのスクレイピング - Qiita

def htmlSearch(key): proxies = { "http":"http://proxy:8080", "https":"http://proxy:8080" } params = {'q': key} # ここの書き方が正しいかは見てない url = "https://www.target.com" + key # URLがキーになっている場合 selector = "#items" req = requests.get(url,proxies=proxies,params=params) print(req.url) print(req.text) soup = bs4.BeautifulSoup(req.text, "html.parser") # パーサーに渡す result = soup.find(selector) print(result) # findは先