文字参照や実体参照を通常の文字に戻す【Python】 - Programming Magic
取得したHTMLファイルやXHTMLファイルの文字列を取り出した場合、それが文字参照や実体参照で書かれていると、表示上の文字と異なってしまう。そこで、文字列に文字参照や実体参照が含まれていた場合に、それを通常の文字に戻す処理が必要になる。 文字参照には16進数で書かれたものと10進数で書かれたものがある。 ♪ (10進数) ♪ (16進数) これらの数値を読み取れば、あとはunichr関数で数値から対応するUnicode文字へ変換することができる。 print unichr(29031) 実体参照には、よく知られている<(htmlentitydefs.name2codepointという実体参照名とUnicodeの対応表があるため、これを使うことで簡単に変換できる。例えば、ハートマークを表示する♥は以下のようにするだけでいい。 print unichr(htmlentitydefs.name
HTMLを解析(スクレイピング)する: Python Tips
HTML解析に使用するライブラリ ・BeautifulSoup.py Pure-Python で書かれている。大きなページだと処理速度は遅い。 ・HTMLの解析は、やはり、XPathで行うのが簡単でラク。 XPath が使える主なHTML解析ライブラリには、 lxml、libxml2 の２つがある。 XPath 言語仕様 1. lxmlを使った例 finance.yahoo.comから、グーグルの最新株価を取得する import urllib import lxml.html fd = urllib.urlopen('http://finance.yahoo.com/q?s=GOOG') s = fd.read().decode('utf-8') xRoot = lxml.html.fromstring(s) path = '''string( //tr[ th/text() = 'Las
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
