はじめに去年からチラチラ気になっていたウェブスクレイピングなるものについて、年末年始にまとまって調べることができました。 結論、Nokogiri, Scrapy, Goutte, などなど方法に特化した情報が多いため分からないことだらけでしたが、なんとかコーディング能力のない(プログラムを0から書いた経験無い)自分が勘所をつかむに至った情報だけを整理します。 スクレイピングとは何か?ざっくりいうと、ウェブサイトにある情報のうち、欲しい部分だけを抽出する技術のことです。 ウェブスクレイピング(英: Web scraping)とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラー[1]あるいはウェブ・スパイダー[2]とも呼ばれる。 通常このようなソフトウェアプログラムは低レベルのHTTPを実装することで、もしくはウェブブラウザを埋め込むことによって、WWWの