Javaですべての上場企業のと地方自治体のサイトをスクレイピングして大変だったこと - Qiita
私は主にJavaを使って大量のサイトからクロールとスクレイピングをしています。 作っているサイトは happyou.info です。上場企業と官公庁と地方自治体とその他1万サイトくらいスクレイピングしています。 このエントリでは、技術的なこと特にめんどうくさかった点を書き残しておきたいと思います。基本的なことかもしれませんが、私自身忘れそうなところもあるので。 1.上場企業は企業が入れ替わる 上場企業は毎日企業が入れ替わります。新規上場、上場廃止、合併、分社化、企業名変更は毎日のことです。この変化にキャッチアップするのが難しかったです。 日本取引所グループ 「よし上場前からきっちりスクレイピングして事前に準備しておくぞ」と思っても、上場にあわせてサイトをリニューアルしたりする企業も多いので油断なりません。 官公庁のサイトは、民間企業に比べるとはるかに移転が少なく落ち着いています。 地方公共
jsoup Java HTML Parser, with best of DOM, CSS, and jquery
jsoup: Java HTML Parser jsoup is a Java library that simplifies working with real-world HTML and XML. It offers an easy-to-use API for URL fetching, data parsing, extraction, and manipulation using DOM API methods, CSS, and xpath selectors. jsoup implements the WHATWG HTML5 specification, and parses HTML to the same DOM as modern browsers. scrape and parse HTML from a URL, file, or string find and
ssig33.com - 2ch のアレ
robots.txt は法律上以下のようになってます。 無視してクロールしてもいいけど、無視してクロールした結果を公開するのはダメ つまり新 2ch では以下のようなサイトが法律上 NG になります API キーをアプリから解析して新 API 勝手に使ったりクロールしたりして過去ログ公開するようなサイト 上記のような仕組みで旧 2ch っぽいインターフェイスを提供するプロキシサイト 上記のような仕組みで動作する Web アプリケーション型 2ch クライアント OK なのは以下の行為です スクレイピングして動作するデスクトップ、携帯電話向けのクライアントを開発、配布する 無論、これらのクライアントが常軌を逸した動作をして、結果 2ch のサービス継続を妨害するようなことがあれば、 2ch は民事、刑事で適切な対応を取ることができるでしょう。この場合参考になるのは librahack 事件で
Cheerio by MatthewMueller
Fast, flexible, and lean implementation of core jQuery designed specifically for the server. View the Project on GitHub MatthewMueller/cheerio Download ZIP File Download TAR Ball View On GitHub cheerio Fast, flexible, and lean implementation of core jQuery designed specifically for the server. Introduction Teach your server HTML. var cheerio = require('cheerio'), $ = cheerio.load('<h2 class = "ti
TechCrunch | Startup and Technology News
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
Building A Concurrent Web Scraper With Haskell - adit.io
Written March 10, 2012 updated: April 16, 2012 Introduction Let's make a concurrent web scraper! We will use Haskell, because it allows easy concurrency. We will use the HXT library to do the scraping. If you want to follow the HXT bits, you should be comfortable with Arrows in Haskell. If you're not, take a moment to read up on Arrows. If you don't care about the scraping bits, jump straight to t
node.jsでHTMLスクレイピングをjQuery記法でやるライブラリみっつの比較 - たごもりすメモ
某イベントのためのコードを書くのにHTMLのスクレイピングをやりたいなー、nodeで書くかなー、去年は jsdom で書いたけど今はどうなんだろね、とか調べてたら、どうもこういうあたりのがあるらしい。 jsdom たぶん一番有名で高機能、だけど重い。 node-jquery jQuery読むだけならコレ！みたいな感じ、だけどあんまりアップデートされてないかも。使いかたはいちばんシンプル。 依存関係がちゃんと書かれてなくて、追加で手で xmlhttprequest をインストールしておかないと動かなかった。 cheerio お前ら重い！ 俺がjQuery記法を再実装してやる！ という男らしいライブラリ。 zombie ブラウザの挙動をシミュレートする的なライブラリ、Mechanizeみたいなやつかな。いまの用途では前段でHTTPレイヤをいじる必要があるので今回は用途に合わない。 sqrape
tagsoupとregex-tdfaでHTMLからリンク抽出 - Qiita
{-# LANGUAGE OverloadedStrings, QuasiQuotes #-} import Control.Applicative import Control.Monad import qualified Data.ByteString.Lazy.Char8 as B import Network.HTTP.Conduit import System.Cmd import System.Environment import System.Process.QQ import Text.HTML.TagSoup import Text.HTML.TagSoup.Tree import Text.Printf import Text.Regex.TDFA baseUrl = "http://dumps.wikimedia.org/" extractLinks url rege
JSONで設定を定義するWebサイトの電子書籍変換ソフトウェア·Webiblo MOONGIFT
WebibloはWebサイトを電子書籍に変換するソフトウェアです。JSONデータで変換設定を定義します。 WebibloはWebサイトをKindle用のmobiファイルに変換するソフトウェアです。Perlスクリプトで作られていて、JSONファイルの定義に沿って一気にコンテンツを取得して変換まで実行します。 実行しているところです。一度取得したコンテンツはキャッシュされるので失敗しても繰り返しやすいです。 最後にkindlegenを実行しますので予めダウンロードしてパスの通ったところに配置しておく必要があります。 出来上がったファイルをKindleアプリで閲覧しているところです。 目次も対応しています。 設定ファイルの例です。かなり細かく指定する必要があるのが難点ですが、これをみんなでシェアするのも面白いかも知れません。 Webibloはコンテンツ部分になるXPathを指定したり、チャプター
WebスクレイピングライブラリGoutteで遊んでみる - hnwの日記
新年あけましておめでとうございます。今年もボチボチやっていきます。 本稿ではPHP製のWebスクレイピングライブラリGoutteを紹介します。 Goutte（グット）とは Goutteは必要十分な機能を持ったWebスクレイピングライブラリです。そもそもWebスクレイピングというのは、外部Webページから必要なデータを取ってくるくらいの意味です。つまり、GoutteはWebスクレイピングを簡単に行う道具だと考えればいいでしょう。 具体的には、GoutteはWebクローラとHTMLパーサを組み合わせたようなものです。Cookieやフォームの扱いなどWebブラウザとしての機能は一通り揃っていますし、CSS風の要素指定もできるなど、機能面では他のライブラリと遜色ないように感じます。 さらに僕個人がGoutteに期待している点は、安定性とロングサポートです。Goutteは主要機能をSymfony2お
Haskell で Web スクレイピング
今回は Haskell で Web スクレイピングということで、シンプルなリンクの抽出と、表形式のデータの取得をやってみたいと思います。
スクレイピングを防ぐための現時点でもっとも効果的な方法
[レベル：中〜上級] 今日はスクレイパーに打ち勝つ方法を紹介します。 まず用語を定義しておきます。 他人のサイトのコンテンツを第三者が無断でコピーすることを“スクレイピング”(Scraping)と呼びます。 スクレイピングするスパマーのことを“スクレイパー”(Scraper)と呼びます。 ウェブの世界ではスクレイピングを防ぐ方法はありません。 コピペは、特殊な設定をしていない限り誰でも可能です。 RSS配信していれば更新と同時にコンテンツを自動で取得することも簡単にできます。 ところがやっかいなのは、スクレイパーのサイト（ページ）がオリジナルであるはずの自分よりも上位に来てしまったり、最悪のケースは自分が重複コンテンツ扱いされて検索結果での順位を大きく下げたり、除外されてしまうことです。 日本にはまだ正式に導入されていないパンダ・アップデートでは、スクレイパーの存在によって誤ってクロスドメ
pjscrape: A web-scraping framework written in Javascript, using PhantomJS and jQuery
A web-scraping framework written in Javascript, using PhantomJS and jQuery Overview pjscrape is a framework for anyone who's ever wanted a command-line tool for web scraping using Javascript and jQuery. Built to run with PhantomJS, it allows you to scrape pages in a fully rendered, Javascript-enabled context from the command line, no browser required. Features Client-side, Javascript-based scrapin
mixiと私 - tokuhirom's blog
https://github.com/tokuhirom/mixi2gmail/blob/master/mixi2gmail mixi日記のスクレイピングにながらく plagger をつかっていたのですが、そのためだけにつかうにはちょっと大仰すぎるというのもあって、回帰してオレ専用 mixi2gmail をかいた。 依存しているモジュールは以下のとおり。WWW::Mixi::Scraper がなんといっても本命で、charsbar++ といわざるをえない。 requires 'WWW::Mixi::Scraper' => 0.30; requires 'Email::Sender'; requires 'Config::Pit'; requires 'DBD::SQLite'; requires 'DBI'; requires 'Mouse'; requires( 'Net::SMTP::
スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - bevacqua/hget: :clap: Render websites in plain text from your terminal
Home
hxt-css
GitHub - ageitgey/node-unfluff: Automatically extract body content (and other cool stuff) from an html document
GitHub - Twinside/Webrexp: Document query utility, mixing CSS Selector syntax and regular expressions.
