任意キーワードでWebスクレイピングして効率的に情報収集 - Qiita

Webスクレイピングとは、Webページからデータを抽出して、分類したファイルフォーマット、データベースに格納し、分析を行う技術です。 データセントリックとか、データが競争力を左右するとか言われる昨今（これを書いているのは2020年）ですが、人手では処理しきれないぐらい膨大なデータがあるWebのデータをいかに効率的に収集・整理・分析するかは、他者に先んじる付加価値となります。 ここではWebスクレイピングの1つの事例についてご紹介します。 動機 再建築不可など特定の不動産物件を効率的に検索 中古の一戸建て住宅を探している友人が、不動産販売会社のページから条件に合った物件情報だけ抜き出せないかと依頼してきました。 というのも、物件が東京だけでも1000件以上掲載されていて、地域とか面積とか価格などの条件では抽出できるものの、フリーキーワードで検索できないのだとか。しらみつぶしに全件確認するには