Beautiful Soup を使ってクローラーを書く HTML の取得は requests を使い、HTML のパース処理を Beautiful Soup でやるのが基本的な使い方です。 import requests from bs4 import BeautifulSoup # スクレイピング対象の URL にリクエストを送り HTML を取得する res = requests.get('http://quotes.toscrape.com/') # レスポンスの HTML から BeautifulSoup オブジェクトを作る soup = BeautifulSoup(res.text, 'html.parser') # title タグの文字列を取得する title_text = soup.find('title').get_text() print(title_text) # >
![10分で理解する Beautiful Soup - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/642afff7fd9e1d7646a42f65549964d103ff8417/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9MTAlRTUlODglODYlRTMlODElQTclRTclOTAlODYlRTglQTclQTMlRTMlODElOTklRTMlODIlOEIlMjBCZWF1dGlmdWwlMjBTb3VwJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01OTgzZDgwMjg2MjUwYTU1Mjc0MjAzOTMzN2E1MTIwZg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwQ2hhbm1vcm8mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWYyZDFhNjZiNDc0ZDU5ZmRmNzI2NThkNWIyMmM5ZjRh%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D959935b277d1e4cf9f34cfb08a921965)