Open Source Crawlers in Java
Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project. WebSPHINX ( Website-Specific Processors for HTML INformation eXtraction) is a Java class library and interactive development environment for Web crawlers that browse and process Web pages automatically.
javaでWEBクローラの作り方 : 研究開発
java で書かれたwebクローラはこれらなどがあります。 以下は、 自作したいような人が読んで下さい。 HTML parser 参考 javascriptの実行結果をスクレイピングする方法 参考 htmlファイル中のリンクタグは、 LinkTagクラスで表現します。 getLink() で、リンク先URLを取得し、 getLinkText() で、リンクアンカー を取得できます。 HttpURLConnection 参考 botの名前 （HTTP_USER_AGENTに相当する ）は、"User-Agent"で指定したりします。 HttpURLConnection.setRequestProperty( "User-Agent", agentname ); この文字列は好き勝手に指定できます。 "Referer" によって、直前に見ていたURL（HTTP_REFERERに相当する ）をセ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
crawler4j - Project Hosting on Google Code
