GitHub - buriy/python-readability: fast python port of arc90's readability tool, updated to match latest readability.js!You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
boilerpipeを使ってみる : mwSoft blog
■概要 HTMLから本文を抽出してSolrに登録する用事があったので、Javaの本文抽出ライブラリを探してみたところ、boilerpipeという子を見つけた。 英語色が強そうだけど、そこそこに精度は出そうに見えたので使ってみた。 ■導入 とりあえずjarをダウンロード http://code.google.com/p/boilerpipe/downloads/list もしくはMavenから http://mvnrepository.com/artifact/de.l3s.boilerpipe/boilerpipe ■本文抽出を実行してみる URL url = new URL("http://www.yahoo.co.jp/"); String text = DefaultExtractor.getInstance().getText(url); System.out.println(te
Safari Reader Source Code
I’m totally in love with Safari’s Reader feature. But sometimes, on some web article, Reader doesn’t display anything (or Reader’s button is greyed). If you’re like me, and want to see why Reader doesn’t always work properly, there is a very simple way to get Safari Reader source code. The crazy thing is that the functionality is all Javascript based (maybe due to its grand parent Arc90 Readabilit
Safari Readerのコンテンツ抽出処理を調べる
Safari(とiOSのMobile Safari)にはReader機能というのがあって、ブログなどでコンテンツ部分だけを抜き出して表示してくれます。iOSにはあるのは知っていて、PC向けのページを読みやすくしてくれて便利なのでたまに活用していたのですが、PC版でもあるんですね。似た機能はPocketやReadabilityにもあります。 でもこのリーダー機能、ボタンが出る時と出ない時があります。まあコンテンツ抽出ができない時は出ないんだろうなっていう推測はできるのですが、どのようにコンテンツ抽出しているのかなと。PerlのモジュールでHTML::ExtractContentというのがあるのですが、似たようなことやっているんだろうなって思っていましたが、しらべるとh1~h6の含まれるブロック要素で文字数が多いものが取られているっぽいとかブロックのサイズが云々とか色々観測結果が書かれていまし
CETR による HTML 文書からのテキスト抽出 - やた＠はてな日記
n-yo さんに教えていただいてから随分と経ってしまいましたが，CETR を実装してウェブサービス化してみました． HTML テキスト抽出（CETR） http://s-yata.jp/apps/nwc-toolkit/cetr-text-extractor CETR というのは "Content Extraction via Tag Ratios" の略で，HTML 文書の各行に含まれるタグの割合を利用してコンテンツを抽出する手法です．簡単な内容は以下のようになっています． コメント，スクリプト，スタイルを取り除きます． 文書が 1 行のみで構成されている場合，65 文字ずつに分割します．修正（2010-11-10） 各行に含まれるタグの割合（Ti）を求めます． タグの割合（Ti）を平滑化します（Ti'）． Ti' における近傍との差（Gi）を求めます． Gi を平滑化します（Gi'）．
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - grangier/python-goose: Html Content / Article Extractor, web scrapping lib in Python
Webページの本文（記事）抽出エンジン - Boilerpipe Javaライブラリの特徴と使い方 : NETBUFFALO
[SmartNews] Globally Scalable Web Document Classification Using Word2Vec![[SmartNews] Globally Scalable Web Document Classification Using Word2Vec](https://cdn-ak-scissors.b.st-hatena.com/image/square/49607c184b19f26be0976ed1d6b1274d304c84bd/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fsmartnewsdocumentclassification-150428133649-conversion-gate02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Discover Open Source Projects
GitHub - kohlschutter/boilerpipe: Work in progress transmit from Google Code
Makoto In's Reading List — Readability