はじめに Scrapingをするときに、全てを手作業で取り出す。 1サイトであれば、それで良いでしょう。 しかし、100サイト、10,000サイト、1,000サイトといわゆる不特定サイトをスクレイピングする場合、 大変な作業量となります。 最初は楽しいのですが、だんだんと飽きてきますし、100サイトを超えてくると1サイトスクレイピングしようとしている間に、 前にやったサイトのマークアップが変わっていたり、苦痛を伴い始めます。 前置きが長くなりましたが、 クローラー/Webスクレイピング Advent Calendar 2017の9日目です。 世の中どこもかしこも、AI、AIと騒いでいるんだから、スクレイピングなんてAIにやらせとけばいいじゃない とも思いますが、 それは2014年のアドベントカレンダーでもう書いているので、 今日は逆にライトなやつ。簡単に実装できるやつを。 2014年の投稿
![ページからコンテンツだけを抜き出すためのシンプルで簡単な方法。 - かれ4](https://cdn-ak-scissors.b.st-hatena.com/image/square/ab6a3a96b944a0cd6383b7fb046f48032e828ceb/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Ft%2Ftottokug%2F20171209%2F20171209175854.png)