この投稿は クローラー/スクレイピング Advent Calendar 2014の12月24日用です。 はじめに Webサイトを閲覧していると、任意の形式のファイル(zip、pdf)などをまとめてダウンロードしたいケースがあると思います。 手作業でダウンロードしても良いのですが、こういう場合はPythonやRubyなどのスクリプト言語を使用すると簡単に処理が書くことができます。 今回はPythonを使用してダウンロードするスクリプトを書いてみました。 ライブラリ 本当は標準ライブラリのみでも良いのですが、今回は下記のライブラリを利用しました。 requests BeautifulSoup ライブラリのインストール #!/usr/bin/env python # -*- coding: utf-8 -*- import requests import time from BeautifulS
![Pythonを利用して任意の形式のファイルをダウンロードする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/582e147844264e5676cd7be72f3d8a2554533b77/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9UHl0aG9uJUUzJTgyJTkyJUU1JTg4JUE5JUU3JTk0JUE4JUUzJTgxJTk3JUUzJTgxJUE2JUU0JUJCJUJCJUU2JTg0JThGJUUzJTgxJUFFJUU1JUJEJUEyJUU1JUJDJThGJUUzJTgxJUFFJUUzJTgzJTk1JUUzJTgyJUExJUUzJTgyJUE0JUUzJTgzJUFCJUUzJTgyJTkyJUUzJTgzJTgwJUUzJTgyJUE2JUUzJTgzJUIzJUUzJTgzJUFEJUUzJTgzJUJDJUUzJTgzJTg5JUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0xZjA3NzhiYmVjZDA5Y2QyNzdlZjNhMjE0YWU4OTY3NA%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBjaGVja3BvaW50JnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xMWIzMWY4ZmIzNWRjOTkxNDc0NjM2N2RlM2U3NDdiOQ%26blend-x%3D120%26blend-y%3D445%26blend-mode%3Dnormal%26txt64%3DaW4gU1FVRUVaRSwgSW5jLg%26txt-width%3D972%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25233A3C3C%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D134%26txt-y%3D546%26s%3D2f486cc8b2b519fdc72da31aed117290)