Webスクレイピングとは何か？構成や活用事例を紹介 | Promapedia（プロマペディア）Webスクレイピングとは？Webスクレイピングとは、Webサイトから大量の情報を自動的に抽出するソフトウェア技術のことです。 データの多くはHTML形式の非構造化データであり、スプレッドシートやデータベースの構造化データに変換することで様々なアプリケーションに利用することができます。 Webサイトから入手した情報を加工して新たな情報として生成されるため、手動でデータ収集を行う際に掛かる手間や時間の大幅な削減が見込めます。 Webスクレイピングの構成WebスクレイピングはWebクローラーとWebスクレーパーの２つの仕組みで構成されています。 WebクローラーWebクローラーでは、インターネット上でコンテンツのインデックスを作成、検索を行います。 一般的にはWebや特定のサイトを「クロール」してURLを発見し、Webスクレーパーに渡します。 WebスクレーパーWebスクレーパーとは、Webペー
