【技術】mechanizeに変わる方法を考えてみた - エンジニアリングとお金の話webサイトをスクレイピングする際はmechanizeを使用しているが、ログイン処理等にjavascriptを使用してゴニョゴニョしているサイトの場合は、行き詰ってしまう事が多い。 今までその様なサイトは諦めていたが、どうにかスクレイピングする方法が無いかと調べた結果、以下の２つで実現出来る事がわかった。 ① seleniumを使用する ② Phantom JSを使用する どちらの方法も擬似的なブラウザオブジェクトを使用してjavascriptの処理を行う事が可能である。今回は操作が簡単なseleniumを使用した方法について説明する。 １.seleniumとは Webアプリケーション用テストツール。ブラウザの操作をシミュレートして、Webアプリケーションの画面周り操作を行う事が可能である。 要は、人が手でWebブラウザを操作する代わりにSeleniumがWebブラウザを操作して、作業の自
