はてなブックマーク

pythonはスクレイピングなども簡単にできるようなライブラリが多く用意されていますが、いまいち調べてみないとどれが最新の情報なのか分からなかったためまとめました。 今回は、URLを叩いて要素を取得するのにRequests、その後の分析にはBeautiful Soupを使っています。 Requestsとは 以下は公式ページの開発ドキュメントから Requestsは人が使いやすいように作られた、エレガントでシンプルなPythonのHTTPライブラリです。 Pythonは標準で同様の機能を持つurllib2を持っていますが、ものすんごく使いにくいと評判です。例えば公式で紹介されている例では、ベーシック認証でログインするページの要素を取得する場合です。 # !/usr/bin/env python # -*- coding: utf-8 -*- import urllib2 gh_url = '