Mechanizeによるスクレイピングの基本的なことまとめ - そのねこが学ぶとき
Exhibiの内部的な話を書こう書こうと思って忘れてた。とりあえずMechanizeについて。 Mechanizeはスクレイピングを楽にしてくれるRubygemsです。ExhibiではMechanizeを使ったスクレイピングのRakeタスクを作成し、それを日次で実行することで、各美術館のサイトから展覧会情報を抽出しています。抽出した情報がDB内に存在していれば無視。存在しないのならDBに追加。こういうクローリングに関しては、ちょうど時同じくしてRubyのクロール入門本が去年出たんですけど未読です。技術的な話のみならず、人様のサイトへ機械的にアクセスする際のお作法的なことも載っているらしく、いつかは読みたいところ。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例posted with amazlet at 15.02.07るびきち 佐々木 拓郎 SBクリエイティブ 売り
Ruby+Nokogiriでスクレイピング入門 - プログラマでありたい
クローラー／スクレイピング Advent Calendar 2014の5日目です。あと、全部俺Advent Calendarも開催中です。 Webからデータを取るためにスクレイピングする際は、Rubyを使うことが多いです。理由としては、Nokogiriが手軽で簡単だからの一点です。Rubyによるクローラー開発技法でも随所に紹介しています。随所というレベルではなく、手を変え品を変えNokogiriでデータ取っているだけじゃねぇかと批判を受けるのではと、懸念するレベルかもしれません。Nokogiriは手軽で便利なので、ちょっと使い方を覚えておくだけで楽できるケースが一杯あります。ということで、Nokogiri入門編です。 Nokogiriの使い方 Nokogiriは、Rubyで実装されたHTML/XMLの構文解析器（パーサー）です。Rubyの中では、デファクト・スタンダードと言っても差し支えが
RubyでWebを操作できるMechanizeの利用例を集めてみた | Scimpr Blog
公式mechanize.rubyforge.org/ 使い方などMechanize について 楽々スクレイピング! Ruby Mechanizeの使い方 楽々スクレイピング! Ruby Mechanizeの使い方(2) リンクmechanizeでどんなことができるのか色々知りたかったので、使い方でなく実用例ぽいものを集めてみた. リンク先のコードは古いのもあって動かないかも そもそも公式のグーグル検索がそのまま動かないという DoCoMoの請求書を毎月Evernoteに送信してチェックするカスペルスキーのサイトからウィルスレベルをスクレイピングして、つぶやく。RubyのMechanizeではてなブログへ投稿RailsCastsの動画をタグごとにダウンロードしてくるスクリプトニコニコ動画の動画をダウンロードauの請求書を取得ソフトバンクの請求書を取得ゆうちょ銀行のログインとか取得かrubyの
楽々スクレイピング! Ruby Mechanizeの使い方 -- ぺけみさお
Mechanizeはスクレイピングを補助するRubyライブラリだ。 MechanizeはCookieのやり取りをはじめ、Webサイトとのインタラクションを自動化してくれる。 Net::HTTPやopen-uriでは面倒なWebサイトへのアクセスを、Mechanizeを使えば簡単にRubyで記述することができる。 以下では拙作のhttp://bestgems.org/を対象として、Mechanize 2.7.0の基本的な使い方を説明する。 初期化とWebページの取得MechanizeでWebページを取得するのは簡単だ。 Mechanizeクラスをnew()し、get()を呼びだせばWebページを取得できる。 WebページはMechanize::Pageオブジェクトになっている。 require 'mechanize' agent = Mechanize.new page = agent.ge
Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]
プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー
![Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2ea7e72d0d7f3ba6c237909f321e67ffbdaa24e/height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
