Mojo::UserAgentがスクレイピングツールとして便利 - Qiita概要 スクレイピングでやりたいことは、 だいたい以下のようなもの。 ■データを取得する -> GETでHTMファイルL/XML(RSS)ファイル/画像ファイルなどを取得 -> POSTでフォームにSubmitする(ログイン/パスワードDL) -> 並列で取得する ■取得したデータから必要なデータを抽出する -> HTMLをParseして、CSSセレクタでデータを抽出する -> JSONをParseして、データを抽出する -> XML(RSS)をParseして、データを抽出する ■取得したデータを保存する -> ファイルとして保存する Mojo::UserAgentは、上記の処理が簡単に書けるようになっている。 インストール MojoliciousをインストールするとMojo::UserAgentも入る。 HTTPSにアクセスすることもあるので、IO::Socket::SSLも入れる。 us
