Ruby Mechanize でスクレイピングをするときに User-Agent は必須 - Qiita

概要 こんにちは。アレックスです。 この投稿では、スクレイピングをするときに見落としがちな、 User Agent（ユーザーエージェント 以下UA）について簡単に解説します。 なぜ、このような記事を書くのか? 経緯はブログに書きましたので一番最後に記載します。 良かったら、ご覧下さい :) 目次 なぜ必要なのか 具体的なコード 参考文献 最後に なぜ必要なのか 長い持論も有りますが、そちらはブログに記載いたしました。 端的に技術・機能的な面で言うと、UAを設定しなければ、 Mechanizeのデフォルトで "WWW-Mechanize/バージョン" となります。 サーバアクセス時に User-Agent リクエストヘッダで送信される文字列を返します。 user_agent= や #user_agent_alias= で設定していない場合のデフォルト値は "WWW-Mechanize/バージ