ブログの本文抽出にチャレンジ - Ceekz Logs (Move to y.ceek.jp)

zuzara.com を読んでいると、ブログの本文抽出にチャレンジしているのを見つけました。 tdかdivで囲まれた文字列で、文章と比べてHTMLのタグがあまり多くないもののうち、一番文字数が多いのが本文だろう、というアルゴリズム。 PHP で書かれたコードを Perl に移植しながら、もっと効率的なアルゴリズムが無いかを考えていました。 まずは、『タグの数』ではなく、比率をで判定するように改良（？）しました。 スコア = タグ除去後（length） / タグ除去前（length） タグが含まれていないときが最大値になるので、スコアは 1 が最大となります。タグの数よりもこっちの方が良さそうだったのだけど、コメント部分を抽出してしまう可能性が非常に高い。だめぽ。 牛乳を飲みつつ考えていると（カルシウムを摂取して身長を伸ばす）、ひらめきましたよ！要は、長い文章を取り出せればいいのだから、句読

[todesking]

タグの比率

[katotaku]

本文抽出

[nilab]

ブログの本文抽出にチャレンジ - Ceekz Logs : 日本語の句読点がたくさん含まれる部分を本文とするプログラム

[sshi]

なんか他にもいろいろとやりようはありそうで。

[fuba]

Web Wrapperの知見をどうぞ

[se-mi]

Ceekz氏によるRSSからの本文抽出

[yuiseki]

korehaomoshiroi