HTMLのドキュメントから繰り返し部分をみつける - bits and bytes

RSSを生成していないページからRSSを生成するなんでもRSS 0.1bは、公開されているJSAI2005: なんでもRSS - HTML文書からのRSS自動生成によると、日付情報を目印にしてそのHTMLドキュメントの構造を推測して、各エントリ(item要素)のタイトルと本文を単語の統計的に処理して決定し、フィードを生成していると書かれています。 ウェブ上にあるHTMLドキュメントは Ask.jp ： "xml" Search results. のように、RSSのitem要素に相当する部分に日付が含まれていないものもあります。 その中でも、大量のデータを複数のページにわけて表示しているHTMLドキュメントを対象に、ドキュメント中に含まれる繰り返し部分のXPathを生成するブログラムをjavascriptで作りました。 アプローチ 大量のデータを複数のページわけて表示しているドキュメントを

[toton]

コンテンツ、本文抽出

[webmarksjp]

*programming

[todesking]

差分を元に繰り返し抽出

[bigchu]

: いきおいでBM

[poafag]

ブックマークレット　返し部分のXPathを生成

[monjudoh]

『大量のデータを複数のページにわけて表示しているHTMLドキュメントを対象に、ドキュメント中に含まれる繰り返し部分のXPathを生成する』

[june29]

差分を取る，って点が面白い

[wacky]

Google検索結果のように複数ページに分かれたHTMLドキュメントから、繰り返し部分のXPathを生成するJavaScript。ブックマークレット版あり。問題点についての考察も。

[ag-commerce]

RSSを生成していないページからRSSを生成するなんでもRSS 0.1bは、公開されているJSAI2005: なんでもRSS - HTML文書からのRSS自動生成によると、日付情報を目印にしてそのHTMLドキュメントの構造を推測して、各エントリ(item要素)の

[shidho]

うまく動くのかな?

[faw]

日本語処理

[otsune]

差分要素に「ad」「tag」「menu」がurlやclassやidに含まれるDOMは本文ではないと見なすとかどうか