perl - HTML::ExtractContent vs. 404 Blog Not Found : 404 Blog Not Found

2009年05月30日18:30 カテゴリLightweight Languages perl - HTML::ExtractContent vs. 404 Blog Not Found やっとわかった。なんではてなブックマークのサマリーが、本blogに関してはイマイチなのかが。 HTMLから本文を抜き出せるモジュールHTML::ExtractContent - perl-mongers.org 今回ご紹介するHTML::ExtractContentはHTMLの内容を判断しコンテンツの本文らしき部分を抜き出せる凄いモジュールです。 これを、使っているからだ。 以下、llevalによる実演。 #!/usr/bin/perl use strict; use warnings; use LWP::UserAgent; use HTTP::Response::Encoding; use HTML:

[otsune]

はてなダイアリーをはてブすると、ヘッダーをちょっとカスタムしただけダイアリーですら誤動作するもんな。自サービスすら対応できないってどんだけ低性能だ

[denken]

たしかに、Wedataみたいのを使って集合知的にやるのも手だと思う

[gabari]

ほとんどが。

[t_horie]

livedoor blogのほとんどはXPATHで言うと//div[@class="main"]で本文をぶっこぬける。

[hide-K]

いきなりHTML::EC使わないでフォールバックしたらってことかな

[shimanp]

WEBページからコンテンツらしきものを抜き出す。

[os0x]

LDRFullFeed@wedata 使えば? e.g. http://wedata.net/items/969

[n4_t]

"livedoor blogのほとんどはXPATHで言うと//div[@class="main"]で本文をぶっこぬける"

[Yuichirou]

いちいちあのブログではこういう風にとか設定してたら埒があかないから汎用的に使えるヒューリスティックス手法を採用してるんでしょ?

[mattn]

私も最近イマイチさを感じ始めてました。

[dankogai]

HTML::ExtractContent vs. //div[@class="main"]