node.jsでWebスクレイピングして取得データを保存する - ほんじゃらねっとnode.jsでデータ収集のためのWebスクレイピングを行う。 Webスクレイピングの流れというのはだいたい決まっていて、 WebページにアクセスしてHTMLを取得する 取得したHTMLの中から必要なデータを抽出する 抽出したデータを保存する の3段階となる。 通常、Webスクレイピングが必要となるのは データ取得用のAPIが提供されていない 必要なデータが1ページに収まらず多くのページにまたがっており、手作業でコピペしていくのが難しい 場合で、そのうちWebスクレイピングが可能なのは 対象の各ページが同じフォーマットになっており、パターン化された処理で必要なデータを取得できる 場合となる。 例えば「ページングされた検索結果画面」とか 「同じフォーマットでHTMLが書かれたたくさんの商品詳細画面」 なんかがスクレイピングでデータ取得しやすい。 前提として、 Webスクレイピングは手作業 で
