タグ

BeautifulSoupとダウンロードに関するGen2423のブックマーク (2)

  • #post_title | DXCEL WAVE

    こんにちは、DXCEL WAVEの運営者(@dxcelwave)です! 記事では「Pythonを用いてWeb上のファイルを自動でダウンロードするプログラミング手法」を紹介します。ファイル情報を取得するモジュールとしてRequestsを利用します。また、Web上でダウンロードしたファイルを「PCローカル環境に保存する方法」も併せてご紹介します。 【Python×Requests】Webサイトからファイルをダウンロードする方法 Web上のファイルをダウンロードする処理は、上図のようにHTTP通信と同様の流れになります。 ①クライアント側がダウンロードしたいファイル(画像、テキスト、pdfファイル等)リンクを指定し、HTTPリクエストを送信すると、②Webサーバー側がファイルコンテンツに対応するHTTPレスポンスを返します。 記事で紹介するWebサイトからファイルをダウンロードする方法の特徴

    #post_title | DXCEL WAVE
  • pythonでWeb上のファイルをダウンロードしてみた - lisz-works

    pythonでWeb上にあるファイルを、ダウンロードをしてみました。 ウェブスクレイピングってやつですかね。 ソース インポート 対象URLからソースを取得 ソースからimgタグの情報を取得 ファイルの保存 あとがき ソース 今回は対象のサイトの、最初に出てくる画像ファイルをダウンロードする処理になります。 # -*- coding: utf-8 -*- import requests import bs4 # 対象のURL url = "http://xxx.com" # URLの情報を取得 r = requests.get(url) soup = bs4.BeautifulSoup(r.content) # imgタグを取得 tag = soup.img # imgタグからsrc要素を取得 imgSrc = tag['src'] # ファイル名を取得 fileName = imgSrc

    pythonでWeb上のファイルをダウンロードしてみた - lisz-works
  • 1