BeautifulSoupとlxmlの処理速度@あらき家
lxmlの方がおよそ13倍ほどはやいことがわかる。 もちろんパースに要する時間だけなので一概には言えないが、13倍ってすごい！ 以下、実験に用いたソース import datetime #BeautifulSoup from BeautifulSoup import BeautifulSoup def b(h,n): dt=datetime.datetime.today() i=0 while (i<n): BeautifulSoup(h) i+=1 return datetime.datetime.today()-dt #lxml from lxml import etree def l(h,n): dt=datetime.datetime.today() i=0 while(i<n): etree.fromstring(h, parser=etree.XMLParser()) i+=1
Python(lxml)でhtmlを処理する まとめ - Gentleちゃれんじ Tips
Python(lxml)でhtmlを処理する まとめ Pythonにはxml/htmlを取り扱うためのlxmlという便利なサードパーティモジュールがあります。 ここでは、lxmlを使ってhtmlを処理する際に、使えるメソッドなどを簡単にまとめています。 (例がHTML5を使ったものなので気をつけてください。) 初歩的なものを細かくまとめたものは、 「lxmlでhtmlを処理する」にあります。 また、 lxml にある全てのメソッドを紹介しているわけではありませんのでご注意を。 1. htmlの読み込み >>> dom = lxml.html.fromstring(html) >>> dom <Element html at 1967ed8> >>> dom2 = lxml.html.parse('python_tips_003.html') >>> dom2 <lxml.etree._El
Gentleちゃれんじ Tips -lxmlでhtmlを処理する-
lxmlでhtmlを処理する Pythonでhtmlを取り扱う際は、「htmllib(標準モジュール)」や 「Beautiful Soup」 といったモジュールがあります。 しかし、高速で柔軟な操作がしたい場合は、 「lxml」がいいということなので、 今回はlxmlでhtmlを操作する方法をメモしたいと思います。 lxmlは、Beautiful Soupより高速で、htmllibより柔軟なhtml(xml)操作を可能にするのですが、 日本語資料が少ないと言うのが難点でした。最低限のことならば、ちょっと英語を読めば、 何とかなりますが、ちょっと凝ったことをしようと思うと英語力がネックでつまづいてしまいました…。 そこで、今回は、自分がつまづいた所を中心に紹介したいと思います。 目次 htmlから情報を抽出する htmlソースを改変する まとめと補足 1. htmlから情報を抽出する htm
BlogSlime – Just another WordPress site
コンテンツへスキップ 登録は無効化されました。
Beautiful Soup: We called him Tortoise because he taught us.
You didn't write that awful page. You're just trying to get some data out of it. Beautiful Soup is here to help. Since 2004, it's been saving programmers hours or days of work on quick-turnaround screen scraping projects. Beautiful Soup is a Python library designed for quick turnaround projects like screen-scraping. Three features make it powerful: Beautiful Soup provides a few simple methods and
Panopticon :: Python :: BeautifulSoupを触ってみる
ちょっとHTMLをパースする必要があったので、BeautifulSoupを使ってみました。参考にさせていただいたサイトはこちら。 あかさかランチにっき: BeautifulSoupによるスクレイピングの練習 あかさかランチにっき: 続・BeautifulSoupのスクレイピングの練習 Perl使いのPythonちゃん: BeautifulSoupでHTML解析 Perl使いのPythonちゃん: PythonでGoogleの表示順位を取得 特定タグの抽出 >>> from BeautifulSoup import BeautifulSoup >>> import urllib2 >>> url = 'http://www.crummy.com/software/BeautifulSoup/documentation.html' >>> html = urllib2.urlopen(u
Phactory: Python: BeautifulSoupで、HTML/XMLをらくらくパージング
BeautifulSoupとは、HTML/SGML/XMLをパージングするPythonライブラリです。 ネーミングにセンスを感じさせるこのライブラリは、実用として考えても大変有用なライブラリです。 これを使い始めると、ありとあらゆるHTML/XMLをいじり倒したくなります。 ダウンロード BeautifulSoupは、Pythonの標準ライブラリではありませんので、 使用するためには以下サイトからDL＆インストールする必要があります。 http://www.crummy.com/software/BeautifulSoup/ インストール方法 BeautifulSoup.pyを上記サイトからDLしてきて、 pythonのライブラリ置場である「site-packages/」に配置するだけでOKです。 その上で、 #!/usr/bin/python from BeautifulSoup
[J] Python 版 Mechanize でスクレイピングやクローリングをっ - Jamz
なぜ、Python にこだわるのか... 理由はない、なぁ... このライブラリについては以下のあたりのメソッドを一通り理解しておくと色々想像が膨らんで、創造的なスクリプトが組めそう。 br = mechanize.Browser() br.links(url_regex="regex_val") br.follow_link(text_regex="anchor_text") 公式のドキュメントは以下だけど、もう少し実装例や解説が欲しいなぁ。 mechanize documentation 実装例いろいろ。 [python]Python で 画像スクレイピング - Programming Must Go On mechanizeを使ってマイミク全員に足跡を残すサンプル - bonlife はてなのバックアップスクリプトをPythonに移植してみた - とある誰かの覚え書き mechan
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう