URLを引数に本文抽出を行うJavaライブラリ「Boilerplate」 | MOONGIFT | オープンソース・ソフトウェア紹介を中心としたITエンジニア/Webデザイナー向けブログ
BoilerplateはURLを与えると本文部分を抽出するライブラリ。 BoilerplateはJava製のオープンソース・ソフトウェア。Webサイトをクローリングしたり、そのサイト内にあるテキストを使って別なWebサービスを構築すると言った手法はよく存在する。そんな時に必要になるのが本文抽出というテクニックだ。 デモ Webサイトには本文以外にも多様なコンテンツが存在する。例えばヘッダー、サイドバー、フッター、広告などだ。そうした無用なコンテンツを除去し、必要な部分だけ取り出すためのライブラリがBoilerplateだ。 BoilerplateはURLを引数に、後は自動的にコンテンツを取得して本文だけを返却してくれるという手軽なライブラリだ。Javaのライブラリなので、既存のJavaシステムに組み込むのはもちろん、Google App Engineを使ってWeb APIとしてコンテンツ抽
統計的に正しいランキングを行う方法をJavaで書く - バイオインフォマティクスって何ですか？
Java | 統計的に正しいランキングを行う方法を見たのでちょっとJavaで書いてみる。はじめになにがしたいかというと、「レイティング」というのをご存じでしょうか。Amazonとかで商品を購入者が星つけて評価したりしてるやつ。ああいうので「良かったランキング」というのを作りたい。みんなが「購入して良かった」という評価をつけてる商品は、他の人にとっても「良かった商品」になる可能性が高い。いい商品だということがわかるわけです。問題点じゃあどういうふうにランキングをつければいいの？ということを考えると、次の問題にぶちあたる。評価してる人の数の違い。例えば、Aという商品は100人が評価していて、平均の星の数は 4.8 だとする。一方、Bの商品は1人が星5つで評価していたとする。このとき、Aの商品とBの商品ではどちらをランキング上位にすればいいだろうか？あなたならどちらを買いたい？Aはたくさんの人が
Lucene/JapaneseAnalyser/Sen、辞書にすごく長い単語が含まれてるとその単語を含んだドキュメントを追加する際にIndexOutOfBoundsExceptionで失敗する - <s>gnarl,</s>技術メモ”’<marquee><textarea>￥
環境:sen 1.2.2.1 IndexOutOfBoundsExceptionって明らかにバグやんけ。 エラーメッセージ java.lang.RuntimeException: java.lang.IndexOutOfBoundsException at net.java.sen.Dictionary.getPosInfo(Dictionary.java:149) at net.java.sen.Viterbi.analyze(Viterbi.java:134) at net.java.sen.StringTagger.analyze(StringTagger.java:180) at net.java.sen.StreamTagger.hasNext(StreamTagger.java:109) at org.apache.lucene.analysis.ja.sen.SenToken
HTMLのマークアップを除去する...HTML文書からテキストファイルを作成(Javaを使用) - Object Design
Home > Index > HTMLのマークアップを除去する...HTML文書からテキストファイルを作成(Javaを使用) HTMLのマークアップをJavaで除去する簡単な方法はないか、と調べてみると、 javax.swing.text.html.HTMLEditorKit.ParserCallback という 標準のJavaのクラスライブラリに含まれているクラスでできることが判明。 関連エントリー XSLTを使えばもっと簡単に処理できることが判明。ただし、対象となるファイルは well-formed な XML,XHTML。 XMLのマークアップを除去する...XML文書からテキストファイルを作成 STEP1 HTMLEditorKit.ParserCallback を拡張したHTMLParser を書く HTMLParser.java import javax.swing.text.
Heritrix レビュー MOONGIFT
Heritrix レビュー ログイン （クリックすると拡大します) インデックス （クリックすると拡大します) ジョブ （クリックすると拡大します) 名前入力 （クリックすると拡大します) モジュール （クリックすると拡大します) サブモジュール （クリックすると拡大します) セッティング （クリックすると拡大します) オーバーライド （クリックすると拡大します) ジョブを作成しました。 （クリックすると拡大します) エラー （クリックすると拡大します) 実行中 （クリックすると拡大します) レポート （クリックすると拡大します) ログ （クリックすると拡大します) 404のみ抽出 （クリックすると拡大します) Heritrix 紹介はこちら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
wordからぶっこ抜き
Mozillaのコードを切り出してライブラリ化した文字エンコーディング判別ライブラリ「Universalchardet」をjavaにポーティング
