javaでWEBクローラの作り方 : 研究開発java で書かれたwebクローラはこれらなどがあります。 以下は、 自作したいような人が読んで下さい。 HTML parser 参考 javascriptの実行結果をスクレイピングする方法 参考 htmlファイル中のリンクタグは、 LinkTagクラスで表現します。 getLink() で、リンク先URLを取得し、 getLinkText() で、リンクアンカー を取得できます。 HttpURLConnection 参考 botの名前 （HTTP_USER_AGENTに相当する ）は、"User-Agent"で指定したりします。 HttpURLConnection.setRequestProperty( "User-Agent", agentname ); この文字列は好き勝手に指定できます。 "Referer" によって、直前に見ていたURL（HTTP_REFERERに相当する ）をセ
