RubyでWebスクレイピングしたい（ChromeDriverインストール編） - マイペースなRailsおじさん
Seleniumを使って、Google画像検索から画像をスクレイピングすることにしました。 環境 Ubuntu 18.04.2 LTS WSL2 on Windouws 10 ruby 2.7.2 selenium-webdriverをインストール まずはruby経由でWebDriverへのリクエストを送信するためのgem、selenium-webdriverをインストールします。 selenium-webdriver | RubyGems.org | your community gem host gem install selenium-webdriver selenium-webdriverの主な役割は、WebDriverと通信するためのAPIを提供することです。WebDriverが含まれているわけではないので、操作したいブラウザとそのブラウザ用のWebDriverを別途インストール
RubyでWebスクレイピングしたい（ツール選定編） - マイペースなRailsおじさん
自作したスクレイピングツールで画像をあつめたい 現在開発中のアプリケーションで、エフェクターボードの画像が100枚くらい欲しかったので、Google画像検索から画像を集めることにしました。 画像収集は機械学習などでかなり需要があるらしく、自作せずとも利用可能なツールがいくらかあるようです。 GitHub - hardikvasa/google-images-download: Python Script to download hundreds of images from 'Google Images'. It is a ready-to-run code! 画像クローラー - Qiita せっかくですが、rubyではWebスクレイピングするようなプログラムは書いたことがなかったので、自作してみることにしました。 nokogiriかSeleniumか rubyでスクレイピングをする場合、
Rubyのnokogiriとmechanizeの使い分け
nokogirirはHTMLドキュメント解析 mechanizeは「シンプルログイン」認証突破 「シンプルログイン」の個人的な定義は、「フォームにIDとパスワードを入力してログインボタンをクリックしてマイページへ！」みたいなサイトです。 「え？逆にそれ以外何があるの？」最近よくあるじゃないですか、IDを入れたらパスワード入力フォームが現れたり、ログイン時にページが動的に動くサイト。そういうサイトでもmechanizeで認証とれるかもしれませんが、個人的に私はすぐに諦めます。そういうサイトはすぐにselelniumに移行します。 「すぐ諦めたら、力つかないよ！」確かに一理ありますね。しかし私はスピードとストレスと全体的なコストを比較して、「シンプルログインサイト以外はseleniumに即移行！」とすることにしました。 nokogiriの基本的な使い方 Webページ「https:// ○○○.
【Ruby】スクレイピングに精度を求めるならNokogiriではなくSeleniumだ - Rubyと筋肉とギターとわたし
どうもてぃです。 とある巨大ECサイト（通称熱帯雨林）をスクレイピングして遊んでいます。 今回は nokogiri で問題が発生したので記事にしました。 nokogiriのスクレイピング精度はあんまり良くないのを実体験で痛感しましたね。 environment Ubuntu 16.04.5 LTS（elementary OS 0.4.1 Loki） Ruby 2.5.0 Rails 5.2.1 issue ページネーション要素の取得です。 Nokogiriだと４〜６割の確率でページネーションを取得できない場合があります。 問題なのが、Seleniumだとページを読み込み終わるまで待つSelenium::WebDriver::Waitがあるのに対して、Nokogiriにはwaitが存在しません。 あと、NokogiriではJS等で動的に表示しているページは上手く取得できないことがあるとのこと
File: README — Documentation by YARD 0.8.1
selenium-webdriver This gem provides Ruby bindings for WebDriver and has been tested to work on MRI (1.8.7 through 1.9), JRuby and Rubinius. INSTALL gem install selenium-webdriver LINKS rubygems.org/gems/selenium-webdriver selenium.googlecode.com/svn/trunk/docs/api/rb/index.html code.google.com/p/selenium/wiki/RubyBindings code.google.com/p/selenium/issues/list LICENSE Copyright 2009-2012 Software
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AndroidDriver - selenium - Getting Started With Android Driver - Project Hosting on Google Code
