いつのまにかpixivをうまくスクレイピングできなくなっていた - shimobayashiの日記どうやらエラーを追っていくと、[pixiv] お知らせ - pixivが英語環境に対応http://www.pixiv.net/info.php?id=511の煽りで「ログアウト」の文字列が現れずログイン状態を確認できていなかったのが原因だった。どうやらこれは、HTTP_ACCEPT_LANGUAGEというHTTPのリクエストヘッダで指定するものっぽい。というわけでクローラー側でHTTP_ACCEPT_LANGUAGEを変更する方法を調べた。PerlのMechanizeの情報やらなんやらが錯綜しておりよく分からなかったが、Ruby - WWW::Mechanize::Chain::CustomHeaders - きたももんががきたん。http://d.hatena.ne.jp/kitamomonga/20080331/ruby_www_mechanize_chain_customheade
IBM Developer
