飲食店検索サイトの情報をとってきてみよう -食べログ編- - Qiita

概要 久々にスクレイピングで情報を取得するスクリプトを組みたくなったので組んで見る 言語 ruby 使うライブラリ nokogiri mechanize nokogiriはHTMLをパースする上では欠かせない子です。 net/httpで簡単なスクレイピングはできるがリダイレクトとかが発生する場合に難しいのでそのへんを簡単にやってくれるmechanizeを採用しました。 本題 スクレイピングの基本は 通信内容の理解 コードに落とし込む 以上である。 1. 通信内容の理解 通信内容の理解ということで、基本的にサイトを訪れてデベロッパーツールを開いてNetworkタブを開きます。 そこで検索時にどんな通信が行われているのかを見てみます。 これがそうっぽいですね。 あとはこれをコードに落とし込むだけ 2. コードに落とし込む ライブラリインストール これをコードに落とし込むんですけど、まず最初に述