【技術】mechanizeに変わる方法を考えてみた - エンジニアリングとお金の話
webサイトをスクレイピングする際はmechanizeを使用しているが、ログイン処理等にjavascriptを使用してゴニョゴニョしているサイトの場合は、行き詰ってしまう事が多い。 今までその様なサイトは諦めていたが、どうにかスクレイピングする方法が無いかと調べた結果、以下の２つで実現出来る事がわかった。 ① seleniumを使用する ② Phantom JSを使用する どちらの方法も擬似的なブラウザオブジェクトを使用してjavascriptの処理を行う事が可能である。今回は操作が簡単なseleniumを使用した方法について説明する。 １.seleniumとは Webアプリケーション用テストツール。ブラウザの操作をシミュレートして、Webアプリケーションの画面周り操作を行う事が可能である。 要は、人が手でWebブラウザを操作する代わりにSeleniumがWebブラウザを操作して、作業の自
Mechanize で JavaScript 部分にどう対処するかの考察 - 君の瞳はまるでルビー - Ruby 関連まとめサイト
目的 Mechanize を使ってウェブアクセスを自動化する際に障壁となるのが JavaScript です。 Mechanize は JavaScript を認識してくれません。 例えば以下の処理が入っただけで Mechanize は期待通りの動きをしてくれません。 onClick イベントを使った操作 jQuery などの JavaScript ライブラリが発達し、ページを動的に生成するということが自然と行われるようになった昨今、 Mechanize は無力なのでしょうか？ そんなことはありません。ほんの一工夫で目的を達成する方法をまとめていきます。 前提 本ページが想定するのは「特定ページに対する操作の自動化」です。 不特定多数のページにアクセスする自動巡回情報収集などの自動化は含みません。 不特定ページを扱おうとした場合、JavaScript 部分に関して足掛かりとなる前提が全くなく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
