Rubyのnokogiriとmechanizeの使い分け
nokogirirはHTMLドキュメント解析 mechanizeは「シンプルログイン」認証突破 「シンプルログイン」の個人的な定義は、「フォームにIDとパスワードを入力してログインボタンをクリックしてマイページへ！」みたいなサイトです。 「え？逆にそれ以外何があるの？」最近よくあるじゃないですか、IDを入れたらパスワード入力フォームが現れたり、ログイン時にページが動的に動くサイト。そういうサイトでもmechanizeで認証とれるかもしれませんが、個人的に私はすぐに諦めます。そういうサイトはすぐにselelniumに移行します。 「すぐ諦めたら、力つかないよ！」確かに一理ありますね。しかし私はスピードとストレスと全体的なコストを比較して、「シンプルログインサイト以外はseleniumに即移行！」とすることにしました。 nokogiriの基本的な使い方 Webページ「https:// ○○○.
Webスクレイピングライブラリ "Yasuri" をリリースしました - Qiita
はじめに こんにちは．私はWebスクレイピングが大好きなのですが、Rubyでもっと簡単にスクレイピングができればと思い、ライブラリを書いてみました． ようやくREADMEとUSAGEが書けたので公開しようと思います． ソースはGithubで公開しています． 特にドキュメントの英語が大変怪しいので、つっこみいただけると喜びます． tac0x2a/yasuri gemでも公開しているので、以下のコマンドで簡単にお試しできます． 簡単なサンプルと解説を書いてみました． Yasuriでお手軽スクレイピング よろしければ使ってみてください＞＜ Yasuri とは Yasuri (鑢) は簡単にWebスクレイピングを行うための、"Mechanize" をサポートするライブラリです． Yasuriは、スクレイピングにおける、よくある処理を簡単に記述することができます． 例えば、 ページ内の複数のリンクを
楽々スクレイピング! Ruby Mechanizeの使い方 -- ぺけみさお
Mechanizeはスクレイピングを補助するRubyライブラリだ。 MechanizeはCookieのやり取りをはじめ、Webサイトとのインタラクションを自動化してくれる。 Net::HTTPやopen-uriでは面倒なWebサイトへのアクセスを、Mechanizeを使えば簡単にRubyで記述することができる。 以下では拙作のhttp://bestgems.org/を対象として、Mechanize 2.7.0の基本的な使い方を説明する。 初期化とWebページの取得MechanizeでWebページを取得するのは簡単だ。 Mechanizeクラスをnew()し、get()を呼びだせばWebページを取得できる。 WebページはMechanize::Pageオブジェクトになっている。 require 'mechanize' agent = Mechanize.new page = agent.ge
ニコニコ動画の動画をダウンロード - Qiita
ニコニコ動画の動画をダウンロードするコードを書いたので説明 動画の保存場所の入手 動画の保存場所を入手するgetflvというAPIがあります http://flapi.nicovideo.jp/api/getflv/sm#{id} ニコニコ動画のAPIを使う準備としてとりあえず、ニコニコ動画にログインする ログインをしてるCookieとその動画へのアクセスが無いと動画などを保存しているURLなどを返してくれない 楽がしたいのでとりあえずmechanize require 'rubygems' require 'mechanize' mail = "ニコニコ動画に登録してるメールアドレス" pass = "ニコニコ動画に登録しているパスワード" agent = Mechanize.new; agent.post("https://secure.nicovideo.jp/secure/logi
Mechanize について - 君の瞳はまるでルビー - Ruby 関連まとめサイト
Heroku の基本 Hello Heroku（Web アプリケーション） Hello clockwork on Heroku（定期実行アプリケーション） foreman について 複数のプロセスを管理する Ruby 上のツール／ライブラリ clockwork について cron の代替となる機能を単独で提供してくれる軽量のツール／ライブラリ Git について ローカル環境で試す 目的 Mechanize を使ってウェブアクセスをエミュレートする基礎的な方法について説明します。 本ページが想定するのは基本的に「特定ページに対する操作の自動化」です。 自動巡回情報収集には Mechanize だけではなく、その他多くの応用技術が必要になるため対象としません。 インストール 以下のコマンドを実行して Mechanize gem をインストールします。 gem install mechanize
RDoc Documentation
Mechanize ¶ ↑ docs.seattlerb.org/mechanize github.com/sparklemotion/mechanize Description¶ ↑ The Mechanize library is used for automating interaction with websites. Mechanize automatically stores and sends cookies, follows redirects, and can follow links and submit forms. Form fields can be populated and submitted. Mechanize also keeps track of the sites that you have visited as a history. Depende
RubyでWebを操作できるMechanizeの利用例を集めてみた | Scimpr Blog
公式mechanize.rubyforge.org/ 使い方などMechanize について 楽々スクレイピング! Ruby Mechanizeの使い方 楽々スクレイピング! Ruby Mechanizeの使い方(2) リンクmechanizeでどんなことができるのか色々知りたかったので、使い方でなく実用例ぽいものを集めてみた. リンク先のコードは古いのもあって動かないかも そもそも公式のグーグル検索がそのまま動かないという DoCoMoの請求書を毎月Evernoteに送信してチェックするカスペルスキーのサイトからウィルスレベルをスクレイピングして、つぶやく。RubyのMechanizeではてなブログへ投稿RailsCastsの動画をタグごとにダウンロードしてくるスクリプトニコニコ動画の動画をダウンロードauの請求書を取得ソフトバンクの請求書を取得ゆうちょ銀行のログインとか取得かrubyの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tac0x2a/yasuri: Yasuri (鑢) is easy web scraping library.
File: README — Documentation for mechanize (2.10.0)
mechanize | RubyGems.org | your community gem host
GitHub - sparklemotion/mechanize: Mechanize is a ruby library that makes automated web interaction easy.
http://mechanize.rubyforge.org/