画像から動画作成 複数枚の画像から動画を作成 インストール方法などは他で 注意 画像はxxx_001.jpeg, xxx_002.jpegの様に名前を着ける
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました! Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る これはクローラー/スクレイピング Advent Calendar 2014の7日目の記事です。 Pythonでクローリング・スクレイピングするにあたって、いろいろなライブラリがあるので一覧でまとめてみます。 以下の4つのカテゴリにわけて紹介します。 Webページを取得する Webページからデータを抜き出す Webページの自動操作 総合的なフレームワーク なんでこれが載ってないの?この説明はおかしい!などありましたらお気軽にお知らせください。なお、この記事はいろいろなライブラリを紹介することを目
TL;DR Requests とは Python の 今風な HTTP ライブラリである. requests.get('URL') で GET リクエストができる. レスポンスに対して .text とすることで, レスポンスボディをテキスト形式で取得できる. Requests とは Python の HTTP ライブラリ. Python には urllib2 というライブラリがあるが, 公式サイトに Requests is an Apache2 Licensed HTTP library, written in Python, for human beings. という説明がある通り, 人類にとって読みやすくコーディングできる. 導入
取得したHTMLファイルやXHTMLファイルの文字列を取り出した場合、それが文字参照や実体参照で書かれていると、表示上の文字と異なってしまう。そこで、文字列に文字参照や実体参照が含まれていた場合に、それを通常の文字に戻す処理が必要になる。 文字参照には16進数で書かれたものと10進数で書かれたものがある。 ♪ (10進数) ♪ (16進数) これらの数値を読み取れば、あとはunichr関数で数値から対応するUnicode文字へ変換することができる。 print unichr(29031) 実体参照には、よく知られている<(htmlentitydefs.name2codepointという実体参照名とUnicodeの対応表があるため、これを使うことで簡単に変換できる。例えば、ハートマークを表示する♥は以下のようにするだけでいい。 print unichr(htmlentitydefs.name
この投稿は クローラー/スクレイピング Advent Calendar 2014の12月24日用です。 はじめに Webサイトを閲覧していると、任意の形式のファイル(zip、pdf)などをまとめてダウンロードしたいケースがあると思います。 手作業でダウンロードしても良いのですが、こういう場合はPythonやRubyなどのスクリプト言語を使用すると簡単に処理が書くことができます。 今回はPythonを使用してダウンロードするスクリプトを書いてみました。 ライブラリ 本当は標準ライブラリのみでも良いのですが、今回は下記のライブラリを利用しました。 requests BeautifulSoup ライブラリのインストール #!/usr/bin/env python # -*- coding: utf-8 -*- import requests import time from BeautifulS
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く