Capybara+PhantomJS+Nokogiriを利用してスクレイピング - プログラマでありたい
CapybaraとPhantomJS、Nokogiriを利用してのクローラー・スクレイピングの紹介です。 PhantomJSとは？ PhantomJSは、ヘッドレスブラウザと呼ばれるWebKitのエミュレータです。ヘッドレスブラウザとは、GUIではなくCUIから利用できるブラウザでプログラムから呼ばれます。UIのテストツールとしてSeleniumのようなサービスがあります。Seleniumはブラウザを直接操作するので、環境依存や動作が重いといった幾つかの問題点があります。そこでよく利用されるのがPhantomJSです。Seleniumに比べて、軽量というメリットがあります。RubyからPhantomJSを扱うライブラリとして、Poltergeistがあります。 Capybaraとは？ Capybaraは、WebシステムのUI層のテストをサポートするためのライブラリです。主にDSL機能とDr
CapybaraとSeleniumを使ってGoogle検索するサンプルコード - Qiita
概要 CapybaraからSeleniumを使う綺麗なコードが分からなかったので、 Rubyによるクローラ開発技法を参考に簡単なサンプルを残しておきます。 仕様 hit_numの引数に渡したワードで検索して検索結果の数を返します。 検索結果の件数がない場合は、allメソッドの返り値がnilなので、分岐しています。 実装 #! /usr/bin/env ruby require "capybara" require "selenium-webdriver" Capybara.current_driver = :selenium module Crowler class Google include Capybara::DSL def hit_num keyword visit URI.escape("https://www.google.co.jp/search?q=" + keyword)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
