運用管理ツール(Webアプリ)のjsonDL機能を気軽にローカルに保存したかった話 - Qiita

前置き 2019/8/26 追記あり（めっちゃ遅いレスポンス時にエラーになるケースがある） 商品管理をしているサーバに対する運用管理ツールにおいて、全商品のDL(.json)みたいな機能が存在 いちいち要ログインの管理ツールにアクセスして、DLボタン押して保存して、作業ディレクトリに移動とか面倒 一連の流れを自動化する想定で、コマンドベースでローカルのディレクトリにjsonを保存したい 管理ツール的には https://xxxx.yyyy.zz/aaa/bbb/download のリンクでアクセスさえできればDL可能 結論 wgetじゃ無理（ファイルの実体が指定できない） curlじゃ無理（ログインが必要な管理ツールなので、何か無理だった） スクレイピングで頑張る 詰まった点 ログイン画面を突破しないと叩きたいURL https://xxxx.yyyy.zz/aaa/bbb/downloa