MalformedなHTMLに戦わずして勝利しテキストを抜き出す方法 - yanbe.diff - subtech
BeautifulSoupというPythonのスクレイピング用ライブラリで不特定多数のWebサイトのHTMLを相手にしていたら、壊れたHTMLのパターンの多さとそのエラー対策に心が折れそうになった。 そしてDOM構造が要らずテキストのみ欲しい場合、大抵のケースはこれで間に合うことに気づいた。 > このページを見る
最終更新時間:
2010年11月28日15時10分
みんなのブックマーク 人気（0） 新着
- $ wget -q -O /dev/stdout example.com | w3m -dump -T text/html > formatted.txt
- この記事の存在を覚えておけば、いつか使うかもしれない。
- wgetいる理由があるのかなぁ。 w3m -dump example.com は？
- w3mすげー ……?
- なるほど
- w3mで見てたら何を言っているのかわからなかった。なんという罠…
- なるほど-!
- スクレイピング w3mのダンプを使う
-
へー
はてなブックマークはオンラインでブックマークを管理・共有できる無料サービス。自宅、職場、外出先、どこからでも同じブックマークにアクセスできます。ユーザーはみんなでブックマークを共有して効率良く情報収集しています。あなたもはてなブックマークを始めてみませんか?
はてなブックマーク
