はてなブックマーク

1つのWebサイトをクロールしてデータを収集するスクリプトを作成していますが、問題は、リクエストが多すぎるとブロックされてしまうことですが、プロキシを使用すると、現在よりも多くのリクエストを送信できます。プロキシをChromeオプション--proxy-serverに統合しました options.add_argument('--proxy-server={}'.format('http://ip:port')) しかし、私は有料のプロキシを使用しているため、認証が必要であり、以下のスクリーンショットのように、ユーザー名とパスワードの警告ボックスが表示されます 次に、ユーザー名とパスワードでそれを使用してみました options.add_argument('--proxy-server={}'.format('http://username:[email protected]:port'))