【連載】CasperJS でスクレイピング (3) - 実践テクニック - メモ用紙

今回は CasperJS を使い実際のサイトをスクレイピングしてみる。 第2回 役に立つオプション 北陸鉄道の時刻表が2014年4月の改正で路線時刻表の permalink がなくなって不便なため、今回はこれを取得してミラーサイトを作成することを考える。 時刻表メニュー（北陸鉄道） Referer 制限や POST メソッドを通過する まず路線別時刻表検索 (busline.php) から路線の一覧を取得する。単にこの URL へアクセスするだけでは次のエラーが出てしまう。 原因はサーバ側のプログラムが POST メソッドしか受け付けないため。このような場合は何も考えず、人が操作したのと同じことをスクリプトで指示してやればよい。リファラ制限がかけられている場合も同じ方法でよい。よほど大規模なサイトで、厳しいチェックがかけられている場合を除き、この方法で通過できるはずだ。 人が操作する場合は