エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
javascriptが有効なサイトでsoupを取得 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
javascriptが有効なサイトでsoupを取得 - Qiita
いろいろなsoupの取得方法メモ。 google画像検索とか、javascriptが有効なサイトだとselenium使わないと... いろいろなsoupの取得方法メモ。 google画像検索とか、javascriptが有効なサイトだとselenium使わないといけないっぽい。 #-*- coding:utf-8 -*- from bs4 import BeautifulSoup def get_soup_uulib2(url): import urllib2 opener = urllib2.build_opener() opener.addheaders = [('User-agent', 'Mozilla/5.0')] page = opener.open(url) soup = BeautifulSoup(page,"lxml") return soup def get_soup_urequests(url): import requests s = requests.Session() r = s.get(url