httpsでMechanizeを使う - shima111の日記
※環境はWindows、ruby1.9.3、mechanize-2.3です。 Mechanizeはrubyでスクレイピングするとしたら、もう定番と言ってもいいライブラリでしょう。普通に使う分には色々記事が既にあるのでここではhttpsではまった部分をちょっとだけ書いてみます。 デフォルトでは https で接続すると OpenSSL::SSL::SSLError: SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B: certificate verify failedとエラーが出ます。証明書の検証に失敗しました、ということのようです。なのでとり得る方法は2つ。 証明書を検証しない(=> セキュリティー的に問題あり) 認証局の証明書をちゃんと指定する ■1. 証明書を検証しないでスクレイピングする方法 検証
RubyでWebを操作できるMechanizeの利用例を集めてみた | Scimpr Blog
公式mechanize.rubyforge.org/ 使い方などMechanize について 楽々スクレイピング! Ruby Mechanizeの使い方 楽々スクレイピング! Ruby Mechanizeの使い方(2) リンクmechanizeでどんなことができるのか色々知りたかったので、使い方でなく実用例ぽいものを集めてみた. リンク先のコードは古いのもあって動かないかも そもそも公式のグーグル検索がそのまま動かないという DoCoMoの請求書を毎月Evernoteに送信してチェックするカスペルスキーのサイトからウィルスレベルをスクレイピングして、つぶやく。RubyのMechanizeではてなブログへ投稿RailsCastsの動画をタグごとにダウンロードしてくるスクリプトニコニコ動画の動画をダウンロードauの請求書を取得ソフトバンクの請求書を取得ゆうちょ銀行のログインとか取得かrubyの
Mechanize について - 君の瞳はまるでルビー - Ruby 関連まとめサイト
Heroku の基本 Hello Heroku（Web アプリケーション） Hello clockwork on Heroku（定期実行アプリケーション） foreman について 複数のプロセスを管理する Ruby 上のツール／ライブラリ clockwork について cron の代替となる機能を単独で提供してくれる軽量のツール／ライブラリ Git について ローカル環境で試す 目的 Mechanize を使ってウェブアクセスをエミュレートする基礎的な方法について説明します。 本ページが想定するのは基本的に「特定ページに対する操作の自動化」です。 自動巡回情報収集には Mechanize だけではなく、その他多くの応用技術が必要になるため対象としません。 インストール 以下のコマンドを実行して Mechanize gem をインストールします。 gem install mechanize
XPathおもしろ - N.E.E.T―Never Ending Engineer’s Tragicomedy別館
最近，RubyのWWW::Mechanizeで遊んでいます． WWW::Mechanizeは内部的にHpricot(HTML文書スクレイパ)を使っており，WWW::Mechanize経由でHpricotにsearchメソッドなどを送れるわけですが，このときにXPath式を渡すことで，目的の部分のHTML要素を得ることができます．これがまた気分爽快．たとえばこんな感じに使えます:: #!/usr/bin/ruby # Yahoo! Newsのヘッドラインを抜き出す require 'rubygems' require 'mechanize' agent = WWW::Mechanize.new page = agent.get('http://headlines.yahoo.co.jp/hl') headline = page/'//h1[@class="yjXL"]/a' # '/'はse
WWW::Mechanize + XPath で快適 Web スクレイピング！ - TETRIS 3
mixi から友人の日記の本文を取得して出力します。 準備。 $KCODE = "e" require "kconv" require "rubygems" require "mechanize" include WWW agent = Mechanize.new とりあえず mixi をゲット。 #Login page = agent.get("http://www.mixi.jp/") form = page.forms.first form["email"] = "mail@address" form["password"] = "password" form.submit #日記一覧ページ page = agent.get("new_friend_diary.pl") Firebug で XPath を取得します。らくちんだ。 Firebug で簡単に XPath 作れると言っても
Ruby Scraping - Mechanize
@@ -1,5 +1,8 @@ ウェブサイトのアクセスを自動化するライブラリ。HTMLの解析には[[Hpricot]]を使っている。 +以下のサイトがとてもまとまっています↓ +* [[RubyのWWW::Mechanizeを解説 for 0.9 （仮） - きたももんががきたん。|http://d.hatena.ne.jp/kitamomonga/20081209/kaisetsu_for_ver_0_9_ruby_www_mechanize]] + !リファレンス * class [[WWW::Mechanize]] * class [[WWW::Mechanize::Page]] @@ -36,4 +39,6 @@ !リンク *公式サイト(リファレンスのみ) : http://mechanize.rubyforge.org/ *RubyForgeのプロジェクト
Ruby: Mechanize GUIDE.txt 日本語訳
※[ブックマーク]ボタンの中に delicious, reddit, digg, Google+(G+) のボタンもあります。 WWW::Mechanizeをはじめよう このガイドは、Mechanize を使い始めるためのものです。このガイドを読み終わるまでに、ページをフェッチしたり、リンクをクリックしたり、フォームをうめてサブミットしたり、Webページ内から必要なデータを取り出したり、、と、お望みのいろいろな便利なことができるようになるとよいです。このガイドは、Mechanize を使ってできることの、表面的なほんとにちょっとしたスクラッチです。だけども、はじめるには十分な情報となるとよいです！ ページをフェッチしよう！ 最初のことを最初に。mechanize を require して、新しい mechanizeオブジェクトを生成しましょう: require 'rubygems' req
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RubyのMechanizeを解説 for 1.0.0 - きたももんががきたん。