スクレイピングをするときに必須というわけではないのだが、UAは設定した方がいい。サイトの運営者であれば、ボットからのアクセスと人間からのアクセスはすぐにわかる。なるべく人間に似せるように設定してあげるのがポイントだと思う。UAを設定すること自体は簡単なのだけれども、どのUAを設定するかを調べるのが面倒臭い。 そこで、fake-useragentが使える!!! >>> from fake_useragent import UserAgent >>> UA = UserAgent() >>> UA.ie u'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)' >>> UA.opera u'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14' >>> U