【puppeteer】ログイン認証が必要なWebサイトで手動でログインだけした後に自動でブラウザ操作してスクレイピングする - Qiita

背景 タイトルの通り。 以前、ダルいブラウザ操作を自動化しようと思ってスクレイピングに手を出すも、ログイン認証が必要なWebアプリケーションはURLにアクセスしてもログイン画面に飛ばされてしまうため「スクレイピングしょーもな」となっていた。 （本目的でない且つ一度しか出ないログイン画面の操作を自動化するのは面倒くさい。つーか単純操作を手抜きする精神で始めたような人間がスクレイピングの細かい部分まで学習するわけねーだろ） 最近、ログインだけ手動で行って、ログイン済みのcookieを保存しておき、それを読み込めばログイン操作無しでスクレイピングできることを知ったので備忘として残しておく。 やりかた ログインしてcookieを保存する処理とメインのスクレイピングの2つを作る。 Node.jsが好きなのでPuppeteerというライブラリを使ってスクレイピングを行う。 手法自体は他のライブラリにも