URLを引数に本文抽出を行うJavaライブラリ「Boilerplate」 | MOONGIFT | オープンソース・ソフトウェア紹介を中心としたITエンジニア/Webデザイナー向けブログ
BoilerplateはURLを与えると本文部分を抽出するライブラリ。 BoilerplateはJava製のオープンソース・ソフトウェア。Webサイトをクローリングしたり、そのサイト内にあるテキストを使って別なWebサービスを構築すると言った手法はよく存在する。そんな時に必要になるのが本文抽出というテクニックだ。 デモ Webサイトには本文以外にも多様なコンテンツが存在する。例えばヘッダー、サイドバー、フッター、広告などだ。そうした無用なコンテンツを除去し、必要な部分だけ取り出すためのライブラリがBoilerplateだ。 BoilerplateはURLを引数に、後は自動的にコンテンツを取得して本文だけを返却してくれるという手軽なライブラリだ。Javaのライブラリなので、既存のJavaシステムに組み込むのはもちろん、Google App Engineを使ってWeb APIとしてコンテンツ抽
2007/08/23 日記: Javaで実装された HTML Parser (HTMLパーサ) を調べてみました
[いがぴょんの日記v2,diary,igapyon,HTML,Parser,Java,パーサ] Javaで実装された HTML Parser について オープンソースのもの限定で幾つか調べてみました。 広告: BlancoEclipseDistribution 最新安定版 (3.4-20080626) リリース 07/04 最新版の Eclipse である Eclipse Classic (SDK) 3.4 一式 (日本語化済み) が Windowsインストーラを用いてインストールできます。 BlancoEclipseDistribution は Eclipseディストリビューションのひとつに該当します。
Java用のHTMLパーサ・ライブラリ「HTMLParser 1.5」リリース | エンタープライズ | マイコミジャーナル
HTMLParserプロジェクトは14日(現地時間)、Java用のHTMLパーサ・ライブラリであるHTMLParserのバージョン1.5を公開した。HTMLParserは、Javaを用いてHTMLの構文解析プログラムを作成するためのライブラリで、高速でシンプルな実装を提供する。 今回公開されたバージョン1.5では、1.4から以下の点が変更された。 SAXパーサの追加 HTTP接続のためのhttpパッケージの追加 CDATAを取り出すためのparseCDATAメソッドをLexerクラスへ追加 Translateクラスをhtmllexer.jarから分離 Windows用バッチファイルの修正 build.xmlファイルの修正 LinkProcessorを非推奨にし、Pageクラスへ移行 lexer.nodesパッケージを廃止し、ノード関連の実装クラスはnodesパッケージへ追加 tags.Ta
不正なXML/HTMLもパース可能 - ShaniXmlParser | エンタープライズ | マイコミジャーナル
The ShaniXmlParser projectは8日(米国時間)、ShaniXmlParserの最新版となるShaniXmlParser version 1.4を公開した。ShaniXmlParserはJavaで開発されたXML/HTML DOM/SAXパーサ。不正なフォーマットであってもパースできる点に特徴がある。 ShaniXmlParserはGNU GENERAL PUBLIC LICENSE Version 2のもとで公開されているオープンソースソフトウェア。ShaniXmlParser 1.4における主な変更点は次のとおり。 メモリ使用の改善 SoftReferenceキャッシュに関するドキュメントを削除 DOM 3 Core Test Validation suite試験パス数: 649(722のうち) DOM 2 Core Test Validation suite試験
Mozilla Java Html Parser
Mozilla Java Html Parser is a Java package that enables you to parse html pages into a Java Document object. The parser is a wrapper around Mozilla's Html Parser , thus giving the user a browser-quality html parser. This project is hosted at sourceforge.net This parser was development as part of Dapper . please visit us at http://www.dapper.net The HTML parser is now being used in a full scale pr
不正なHTMLもパース可能 - Jericho HTML Parser 2.3 | エンタープライズ | マイコミジャーナル
The Jericho HTML Parser projectは11日(米国時間)、Jericho HTML Parserの最新版となるJericho HTML Parser 2.3を公開した。Jericho HTML Parser(以降、JHP)はJavaで実装されたHTMLパーサライブラリ。不正なフォーマットのHTMLファイルであってもパースが可能なほか、HTMLフォームの高度な操作機能などが提供されている。 JHPはGNU LESSER GENERAL PUBLIC LICENSE Version 2.1のもとで公開されているオープンソースソフトウェア。2.3における主な変更点は次のとおり。 Source.fullSequentialParse()においてキャッシュが空でなかった場合にIllegalStateException例外をスルーせず、自動的にキャッシュをクリアするように処理
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HTMLファイルをパースしてその中からデータを抜き出すことのできるソフトを探しています。…
http://blogs.sun.com/okazaki/entry/jtidy%E3%81%A7%E6%97%A5%E6%9C%AC%E8%AA%9E%E6%96%87%E5%AD%97%E5%8C%96%E3%81%91%E3%83%BB%E3%83%BB%E3%80%82
IBM Developer
IBM Developer
WebHarvest - web data extraction tool