エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
RailsのNokogiriでamazonをスクレイピングする際に503エラーが出たので回避した方法 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
RailsのNokogiriでamazonをスクレイピングする際に503エラーが出たので回避した方法 - Qiita
やったこと ユーザーエージェントを10種類用意 リファラを3種類用意 wait_timeを5種類用意 それらをラン... やったこと ユーザーエージェントを10種類用意 リファラを3種類用意 wait_timeを5種類用意 それらをランダムに組み合わせてアクセス。 ここまでやれば、問題なくスクレイピングできた。 # ユーザーエージェントを偽装するオプションを設定。amazonの503エラーの回避 user_agents = [ 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 OPR/77.0.