[B! HTTP][Mechanize] n2sのブックマーク

Mechanizeによるスクレイピングの基本的なことまとめ - そのねこが学ぶとき

Exhibiの内部的な話を書こう書こうと思って忘れてた。とりあえずMechanizeについて。 Mechanizeはスクレイピングを楽にしてくれるRubygemsです。ExhibiではMechanizeを使ったスクレイピングのRakeタスクを作成し、それを日次で実行することで、各美術館のサイトから展覧会情報を抽出しています。抽出した情報がDB内に存在していれば無視。存在しないのならDBに追加。こういうクローリングに関しては、ちょうど時同じくしてRubyのクロール入門本が去年出たんですけど未読です。技術的な話のみならず、人様のサイトへ機械的にアクセスする際のお作法的なことも載っているらしく、いつかは読みたいところ。 Rubyによるクローラー開発技法巡回・解析機能の実装と21の運用例posted with amazlet at 15.02.07るびきち佐々木拓郎 SBクリエイティブ売り

n2s 2015/02/09

リンク

Ruby+Mechanizeで対話型のスクレイピング - プログラマでありたい

クローラー／スクレイピング Advent Calendar 2014の6日目です。あと、全部俺Advent Calendarも開催中です。リクエストがあったので、Mechanizeを使ったスクレイピング方法についてです。Mechanizeは、対話型の処理を得意とするスクレイピングの補助ツールです。対話型とは、例えばIDとパスワードを使ってログインするようなサイトなので、それぞれ項目に入力して次のページに遷移するような行為です。 Mechanizeのサンプルソース下記は、Amazonアソシエイトサイトから売上を取得するサンプルです。 require 'mechanize' uri=URI.parse('https://affiliate.amazon.co.jp/') agent = Mechanize.new agent.user_agent_alias = 'Mac Safari'

n2s 2014/12/23

id:entry:235330614より / 「リクエストがあったので」なのに見落としてましたごめんなさい / ブコメ、anemoneとは一体…！？

リンク

RubyでWebを操作できるMechanizeの利用例を集めてみた | Scimpr Blog

公式mechanize.rubyforge.org/ 使い方などMechanize について楽々スクレイピング! Ruby Mechanizeの使い方楽々スクレイピング! Ruby Mechanizeの使い方(2) リンクmechanizeでどんなことができるのか色々知りたかったので、使い方でなく実用例ぽいものを集めてみた. リンク先のコードは古いのもあって動かないかもそもそも公式のグーグル検索がそのまま動かないという DoCoMoの請求書を毎月Evernoteに送信してチェックするカスペルスキーのサイトからウィルスレベルをスクレイピングして、つぶやく。RubyのMechanizeではてなブログへ投稿RailsCastsの動画をタグごとにダウンロードしてくるスクリプトニコニコ動画の動画をダウンロードauの請求書を取得ソフトバンクの請求書を取得ゆうちょ銀行のログインとか取得かrubyの

n2s 2014/09/23

リンク

楽々スクレイピング! Ruby Mechanizeの使い方 -- ぺけみさお

Mechanizeはスクレイピングを補助するRubyライブラリだ。 MechanizeはCookieのやり取りをはじめ、Webサイトとのインタラクションを自動化してくれる。 Net::HTTPやopen-uriでは面倒なWebサイトへのアクセスを、Mechanizeを使えば簡単にRubyで記述することができる。以下では拙作のhttp://bestg ems.org/を対象として、Mechanize 2.7.0の基本的な使い方を説明する。初期化とWebページの取得MechanizeでWebページを取得するのは簡単だ。 Mechanizeクラスをnew()し、get()を呼びだせばWebページを取得できる。 WebページはMechanize::Pageオブジェクトになっている。 require 'mechanize' agent = Mechanize.new page = agent.ge

n2s 2014/09/06

リンク

Mechanizeでのsubmit時の問題点 - それはそれ、これはこれ

ADSLモデム(NEC WAPRSTAR)の再起動をMechanizeでやろうとした。ところが、エラーにはならないのだが、再起動しない。 IEでの送信データと比較してみると、送信データが足りない。 <INPUT TYPE=submit NAME=No00420000 VALUE='登録'> というsubmitボタンだが、IEでやると送信データに No00420000=%93o%98%5E が含まれるが、Mechanizeだとその部分が欠落している。普通は、こういうデータはサーバー側では参照しないと思うけど、WARPSTARはチェックしているようで、実際同じデータを作って投げると再起動した。これはバグか？報告してみよう。 2014-02-18追記修正されたとのこと。まだリリースされてないので確認できないけど。 https://github.com/sparklemotion/mecha