Mechanizeによるスクレイピングの基本的なことまとめ - そのねこが学ぶとき
Exhibiの内部的な話を書こう書こうと思って忘れてた。とりあえずMechanizeについて。 Mechanizeはスクレイピングを楽にしてくれるRubygemsです。ExhibiではMechanizeを使ったスクレイピングのRakeタスクを作成し、それを日次で実行することで、各美術館のサイトから展覧会情報を抽出しています。抽出した情報がDB内に存在していれば無視。存在しないのならDBに追加。こういうクローリングに関しては、ちょうど時同じくしてRubyのクロール入門本が去年出たんですけど未読です。技術的な話のみならず、人様のサイトへ機械的にアクセスする際のお作法的なことも載っているらしく、いつかは読みたいところ。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例posted with amazlet at 15.02.07るびきち 佐々木 拓郎 SBクリエイティブ 売り
RubyでWebを操作できるMechanizeの利用例を集めてみた | Scimpr Blog
公式mechanize.rubyforge.org/ 使い方などMechanize について 楽々スクレイピング! Ruby Mechanizeの使い方 楽々スクレイピング! Ruby Mechanizeの使い方(2) リンクmechanizeでどんなことができるのか色々知りたかったので、使い方でなく実用例ぽいものを集めてみた. リンク先のコードは古いのもあって動かないかも そもそも公式のグーグル検索がそのまま動かないという DoCoMoの請求書を毎月Evernoteに送信してチェックするカスペルスキーのサイトからウィルスレベルをスクレイピングして、つぶやく。RubyのMechanizeではてなブログへ投稿RailsCastsの動画をタグごとにダウンロードしてくるスクリプトニコニコ動画の動画をダウンロードauの請求書を取得ソフトバンクの請求書を取得ゆうちょ銀行のログインとか取得かrubyの
楽々スクレイピング! Ruby Mechanizeの使い方 -- ぺけみさお
Mechanizeはスクレイピングを補助するRubyライブラリだ。 MechanizeはCookieのやり取りをはじめ、Webサイトとのインタラクションを自動化してくれる。 Net::HTTPやopen-uriでは面倒なWebサイトへのアクセスを、Mechanizeを使えば簡単にRubyで記述することができる。 以下では拙作のhttp://bestgems.org/を対象として、Mechanize 2.7.0の基本的な使い方を説明する。 初期化とWebページの取得MechanizeでWebページを取得するのは簡単だ。 Mechanizeクラスをnew()し、get()を呼びだせばWebページを取得できる。 WebページはMechanize::Pageオブジェクトになっている。 require 'mechanize' agent = Mechanize.new page = agent.ge
Mechanize について - 君の瞳はまるでルビー - Ruby 関連まとめサイト
Heroku の基本 Hello Heroku（Web アプリケーション） Hello clockwork on Heroku（定期実行アプリケーション） foreman について 複数のプロセスを管理する Ruby 上のツール／ライブラリ clockwork について cron の代替となる機能を単独で提供してくれる軽量のツール／ライブラリ Git について ローカル環境で試す 目的 Mechanize を使ってウェブアクセスをエミュレートする基礎的な方法について説明します。 本ページが想定するのは基本的に「特定ページに対する操作の自動化」です。 自動巡回情報収集には Mechanize だけではなく、その他多くの応用技術が必要になるため対象としません。 インストール 以下のコマンドを実行して Mechanize gem をインストールします。 gem install mechanize
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
