PythonでブログのHTMLから本文抽出 2015 - orangain flavor
2015-12-20 19:14追記: readabilityの説明を追加・修正しました。 Webページをクロールした時に、ざっくりと本文 (ページ内の重要なコンテンツ) のみを抽出できると便利です。 Google検索すると、特に日本語だとExtractContent以外の情報があまり見つかりません。 ExtractContentは昔使ったことがあり、たしかに便利なのですが、公開が2007年と若干古いので今でも使えるのかという疑問がありました。また、Pythonで他の選択肢として使えるライブラリは、非日本語圏の方が作ったものと思われるので、日本語のページで問題なく使えるのか知りたかったので調べてみました。 比較するライブラリ 比較したのは以下の5つのライブラリです。 dragnet eatiht extractcontent goose readability パッケージ名 dragnet
boilerpipeを使ってみる : mwSoft blog
■概要 HTMLから本文を抽出してSolrに登録する用事があったので、Javaの本文抽出ライブラリを探してみたところ、boilerpipeという子を見つけた。 英語色が強そうだけど、そこそこに精度は出そうに見えたので使ってみた。 ■導入 とりあえずjarをダウンロード http://code.google.com/p/boilerpipe/downloads/list もしくはMavenから http://mvnrepository.com/artifact/de.l3s.boilerpipe/boilerpipe ■本文抽出を実行してみる URL url = new URL("http://www.yahoo.co.jp/"); String text = DefaultExtractor.getInstance().getText(url); System.out.println(te
[SmartNews] Globally Scalable Web Document Classification Using Word2Vec
The document provides an overview of the Natural Language Toolkit (NLTK). It discusses that NLTK is a Python library for natural language processing that includes corpora, tokenizers, stemmers, part-of-speech taggers, parsers, and other tools. The document outlines the modules in NLTK and their functionality, such as the nltk.corpus module for corpora, nltk.tokenize and nltk.stem for tokenizers an
![[SmartNews] Globally Scalable Web Document Classification Using Word2Vec](https://cdn-ak-scissors.b.st-hatena.com/image/square/49607c184b19f26be0976ed1d6b1274d304c84bd/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fsmartnewsdocumentclassification-150428133649-conversion-gate02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Safari Reader Source Code
I’m totally in love with Safari’s Reader feature. But sometimes, on some web article, Reader doesn’t display anything (or Reader’s button is greyed). If you’re like me, and want to see why Reader doesn’t always work properly, there is a very simple way to get Safari Reader source code. The crazy thing is that the functionality is all Javascript based (maybe due to its grand parent Arc90 Readabilit
Safari Readerのコンテンツ抽出処理を調べる
Safari(とiOSのMobile Safari)にはReader機能というのがあって、ブログなどでコンテンツ部分だけを抜き出して表示してくれます。iOSにはあるのは知っていて、PC向けのページを読みやすくしてくれて便利なのでたまに活用していたのですが、PC版でもあるんですね。似た機能はPocketやReadabilityにもあります。 でもこのリーダー機能、ボタンが出る時と出ない時があります。まあコンテンツ抽出ができない時は出ないんだろうなっていう推測はできるのですが、どのようにコンテンツ抽出しているのかなと。PerlのモジュールでHTML::ExtractContentというのがあるのですが、似たようなことやっているんだろうなって思っていましたが、しらべるとh1~h6の含まれるブロック要素で文字数が多いものが取られているっぽいとかブロックのサイズが云々とか色々観測結果が書かれていまし
Server side readability with node.js
For people just looking for code: node-readability on githubReadability by Arc90 is a fantastic javascript tool that makes web pages easier and more enjoyable to read. It removes the clutter around the article content and applies legible and beautiful styles. Apple has incorporated it into Safari Reader. Many other apps have integrated readability, too. While it's fast and pleasant on a modern des
はてなブックマーク開発ブログ
はてなブックマークのブックマーク数が多い順に記事を紹介する「はてなブックマーク数ランキング」。12月9日（月）～12月15日（日）〔2024年12月第2週〕のトップ30です*1。 順位 タイトル 1位 無自覚にメンバーの心理的安全性を奪っていた経験から得た学び - Speaker Deck 2位 重度知的障害の女性が活躍する仕事 川崎 “あるシステム”が決め手に 職場全体にメリットも | NHK 3位 犬とおばあちゃん助けたら最近かなりいい感じ 4位 セロトニンを補う薬がびっくりするほど効く人たち | Books&Apps 5位 コワーキングスーパー銭湯ランキング（東京近郊） 6位 あるXユーザーの「娘が4～5歳の頃にハマったボドゲ」全26種の紹介ツリーが参考になる→クリスマスに子どもからボドゲを所望された親御さんは必見 - Togetter [トゥギャッター] 7位 一つ嫌なことがあると
Evernote Chrome拡張の本文抽出にはhatena-extract-contentが使われている | MemeTodo
2011年5月25日水曜日 Evernote Chrome拡張の本文抽出にはhatena-extract-contentが使われている 新しくなったEvernote Google Chrome エクステンション « Evernote日本語版ブログ で記事クリップ機能にページの本文の判定をするようになったとのことで、何のライブラリ使ってるのだろうと中身を見てみました。 Chrome拡張の保存場所は以下の通り Windows C:\Users\(ユーザ)\AppData\Local\Google\Chrome\User Data\Default\Extensions Mac ~/Library/Application Support/Google/Chrome/Default/Extensions 見て分かるようにlibフォルダにExtractContentJSが入ってたので、はてなのextr
サイト／ブログから本文抽出する方法
運用中のゲームタイトルにおいては、継続的にプレイヤーに楽しんでいただくために新しいコンテンツを開発するといった、運営施策を効率的に作っていけることが重要です。『逆転オセロニア』の運用チームをサポートするために、私達AI開発チームはAIでどういったことができるのかを考え、研究・開発を行っています。 ただ、AI開発はデータや技術が用意できればそれだけで上手くいくものではありません。AIモデルを作るだけではなく、ビジネス価値を生み出す施策を設計したり、AIモデルを動かすためのシステムを構築したり、継続的な運営負荷を減らすための取り組みも必要になってきます。このように、プロジェクトとして考えるとAIの導入には様々な課題が待ち受けています。 本講演では、私達が開発しているAI技術に触れながら、プロジェクト推進・システム開発といった観点で、実際の経験に基づいたノウハウを提供したいと思います。
DOM Based Content Extraction via Text Densityのbindingを書いたよ - y_tagの日記
SIGIR 2011のDOM Based Content Extraction via Text Densityが、シンプルなアルゴリズムながら良さそうな結果を示していたので、著者のコードを改変してSWIGでPerlとPythonのbindingを作った。 下手な英文メールにも関わらず、コードの利用を快く認めて下さったFei Sunさん、ありがとうございます！ cpp-ContentExtractionViaTextDensity - GitHub これは何をするものかというと、タイトルどおり、DOMツリー上でText Densityという指標を用いてウェブページの本文抽出を行うもの。機械学習とかではなく、単純に決められた方法で計算されたText Densityを用いるだけのシンプルなアルゴリズムである。 Text DensityはDOMノードごとに計算され、シンプルにテキストの文字数をタ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - buriy/python-readability: fast python port of arc90's readability tool, updated to match latest readability.js!
GitHub - grangier/python-goose: Html Content / Article Extractor, web scrapping lib in Python
Webページの本文（記事）抽出エンジン - Boilerpipe Javaライブラリの特徴と使い方 : NETBUFFALO
Discover Open Source Projects
GitHub - kohlschutter/boilerpipe: Work in progress transmit from Google Code
Makoto In's Reading List — Readability
GitHub - arrix/node-readability: Server side readability with node.js
GitHub - yssk22/extractcontent: Utility for extracting title and main contents from an HTML text.
GitHub - hatena/extract-content-javascript
GitHub - petitviolet/python-extractcontent: extractcontent.rb の python 版