こんばんは、最近すっかり暑くなりましたね。 最近Webサイトをクロールする(サイトの方には許可をもらってます)仕事をよくやっていて、セッションをきちんとみて画面遷移をコントロールしているサイトをクロールするときに勉強になったことをまとめます。 今回も言語はRubyで作ってみました。 当初open-uriを使ってWebページのhtmlソース取得していました。 require 'open-uri' require 'kconv' CHROME_USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.75 Safari/535.7' html = open(url, {"User-Agent" => CHROME_USER_
![【Ruby】セッション管理されてるWebページのソースをRubyで取得する | ITベンチャーで働くエンジニアのメモ帳](https://cdn-ak-scissors.b.st-hatena.com/image/square/e05a525c0d04fdc001551ae96b5717995db0afd3/height=288;version=1;width=512/https%3A%2F%2Fblog-imgs-42.fc2.com%2F6%2Fr%2Fa%2F6rats%2F149248_10201139492473232_1685312749_ns.jpg)