BeautifulSoupの簡単な紹介。 - deruiの日記
w3mから、rawdogが出力したHTMLの既読管理を行うためのCGIをPythonで記述した際に、 BeautilfSoupというかなり高機能なHTML/XMLパーサを利用しました。 その際に結構色々調べたので、備忘録として。 まずはhttp://www.crummy.com/software/BeautifulSoup:公式サイトからダウンロードしてきます。 普通はpythonのライブラリに展開するとかしますが、私の場合は使いたい場所だけに利用するような感じで。 cd ~/bin tar zxf BeautifulSoup.tar.gzとでもします。次に、利用したいプログラムの最初の方で from BeautifulSoup import BeautifulSoupとします。これで準備が完了しました。 次のようにして利用できます。 soup = BeautifulSoup(open("
Python で簡単なテキスト処理 (3) - Beautiful Soup を使ってスクレイピング
1. Beautiful Soup でデータを取得 気象庁の過去のデータから、特定の値を抽出したい。 Python で簡単なテキスト処理 (2) - データの抽出 においては、ブラウザ上でコピーした文字列 (データ) を、Python のソースコードに貼り付け、必要なデータを抽出した。 今回は、Python で Web にアクセスし、必要なデータを抽出してみる。 Python では、urllib2 を利用すると、 HTTP の POST メソッドを送信することができる。 cf. Python で POST - 掲示板の迷惑投稿を一括削除 ただし、urllib2 を使うのは面倒。代わりに、 Beautiful Soup を利用する。 cf. Panopticon :: Python :: BeautifulSoupを触ってみる 2. スクレイピングとは スクレイピングという言葉は、Ruby
Python と BeautifulSoup でスクレイピング入門 - present
何個か Web アプリを作ったけど、そういえば、まだスクレイピングをやったことがありませんでした。ふり返っても、サービス内で処理が完結するものや、外部 API を呼び出すものばかり。今考えている Web サービスを実装するには、どうやらスクレイピングが必要っぽいので、Python で練習してみました。 初めてのスクレイピングということなので、有名どころの BeautifulSoup を使ってみます。クックパッドのレシピ情報を抽出するサンプルを書いてみました。 # -*- coding:utf-8 -*- import urllib import BeautifulSoup # HTML を取得 html = urllib.urlopen("http://cookpad.com/recipe/1069312").read() # 解析用の BeautifulSoup オブジェクトを作成 so
BeautifulSoupでスクレイピングのまとめ – taichino.com
何度かBeautifulSoupについては書いているのですが、未だに使い方が覚えられずにイライラします。仕方が無いのでまとめて置く事にしました。BeautifulSoupはHTMLから情報を取得するだけ無く、HTMLの編集もできますが、ここではスクレイピング用途のみに絞っています。 使用するのは以下のHTMLです。 このHTMLを使って色々と情報を取得したのが以下です。覚えるべきはfindAllだけです。注意する必要があるのは、textを指定した場合にタグオブジェクトが取れずに、テキストオブジェクトが取れるので、一旦parentで親のタグ取りましょうという事と、正規表現で条件指定する場合は、re.compileで正規表現オブジェクトを渡すという事位ですか。 #!/usr/bin/python # -*- coding: utf-8 -*- import re import urllib f
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
