HOWTO scrape websites with Ruby & Headless Chrome · ReadySteadyCode
(If you already have the gem installed make sure you have version 3.4.1 or higher.) Then copy and paste the following Ruby script: require 'selenium-webdriver' options = Selenium::WebDriver::Chrome::Options.new(args: ['headless']) driver = Selenium::WebDriver.for(:chrome, options: options) driver.get('http://stackoverflow.com/') puts driver.title driver.quit Run the Ruby script, and if everything
PythonでさくっとWebスクレイピングする (JavaScript読み込みにも対応しつつ) - Qiita
はじめに Webページから特定の要素を抽出してごにょごにょしたいときってよくありますよね。 （あるECサイトのある商品の在庫や価格を5分毎にウォッチしていたいとか、文書分類のために本文を正確に抽出したいだとか、などなど...） そういう要素抽出をWebスクレイピングと呼んだりしますが、そんなときにもPythonは便利です。 ところでそういう目的ぴったりの、クローラー／スクレイピング Advent Calendar 2014というのがあって、以下の記事がよくまとまっています。（ちょっと前にその存在に気づいた） http://orangain.hatenablog.com/entry/scraping-in-python まずはやってみよう 前述の記事の最後にある通りPythonでスクレイピングするときにはrequestsとlxmlでだいたい事足ります。 ではさっそくテレ朝ニュースの以下のペー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
