【裏技】みんな知らないログイン必須ページの爆速スクレイピング【モテるシェル芸】 - ps aux | grep serinuntius
おはようございます。 裏技ってつけると急にワザップ感が出て、懐かしいですよね〜。 こないだ飲み会で同期とそんな話をしておりました。 本題 ログインが必要なWebサイトで画像を引っこ抜いて欲しいという依頼があり、スクリプトを書くかな〜と迷ったんですが、よく考えたらシェル芸だけで出来るな〜と思ったので共有したいと思います。 今回はデザイナーにGitHubのIssueに貼ってある画像200枚以上をzipで欲しいって言われたので、それを題材にします。 環境 Chrome curl grep egrep やり方 1. Chromeでおもむろにデベロッパーツールを開く Macなら Shift + Cmd + c等で開けます。 2. networkを選択する そのページのリクエストを見つける たぶん、一番上のはず。 3. 右クリックして、Copy as cURLを選択 今回の肝はこれで、ブラウザで送った
nc, cURL, Chrome, openssl s_client, RDP で SOCKS プロキシーを使う（＆ socatのご紹介） | DevelopersIO
SOCKS 4 プロキシを経由しないとアクセス出来ない Web 環境（のSSL証明書）をテストする必要があったので、各試験用コマンドで SOCKS4 プロキシーを使う方法を調べました。また、その過程で socat というツールも見つかったのでご紹介します。 前提 以下、下記の前提で話を進めます。 プロキシーサーバのホスト名は proxy.example1.jp プロトコルは SOCKS4、ポートは 1080/TCP 試験対象（接続したい Web 環境）の URL は https://target.example9.jp/ クライアント側の作業環境は macOS High Sierra になりますが、CLIコマンドなどは Linux でも使用可能かと思います。 nc (netcat) 443/TCP が LISTEN しているか、そもそも作業環境・プロキシーサーバからアクセス出来るか（SG
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
