5分でWebスクレイピングをする - YAMAGUCHI::weblog
はじめに あけましておめでとうございます。今年もPython界の江古田ちゃんとして頑張っていく所存です。さて id:nishiohirokazu が5分でPythonは便利だと思える記事を元旦から書いていました。 「ほえー、さすが西尾さんや」って思ってたら、西尾さんが「おい山口、5分でPython便利だなーって思える記事書けや」っていう無言の圧力をかけてきたので*1 *2なんとなく書きました。 「5分で」っていうのが読者が読む時間なのか、筆者が書く時間なのかがわからなかったので前者ということにしました。5分で記事とコード両方書くとか無理や。 こんなことないですか 「Webでスクレイピングしたいよー、てへへ。だけど文字コードとかがページごとにバラバラでマジしんどいっす。しかもタグ抜き出すのとかめちゃめんどいっす><」ってことはあったりしませんか？ リンクのタイトルとかも綺麗に抜き出したいなー
HTMLを解析(スクレイピング)する: Python Tips
HTML解析に使用するライブラリ ・BeautifulSoup.py Pure-Python で書かれている。大きなページだと処理速度は遅い。 ・HTMLの解析は、やはり、XPathで行うのが簡単でラク。 XPath が使える主なHTML解析ライブラリには、 lxml、libxml2 の２つがある。 XPath 言語仕様 1. lxmlを使った例 finance.yahoo.comから、グーグルの最新株価を取得する import urllib import lxml.html fd = urllib.urlopen('http://finance.yahoo.com/q?s=GOOG') s = fd.read().decode('utf-8') xRoot = lxml.html.fromstring(s) path = '''string( //tr[ th/text() = 'Las
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
