RubyでWebスクレイピング 2022年（結局 Mechanize と Nokogiri）
この記事は最終更新日から一定の時間が経過しています。情報が古くなっている可能性があるため注意してください。 Webスクレイピングに関する記事は散々出尽くしていますが、2022年現在 Ruby で Webスクレイピングをしたい場合の技術選定ってどんな状況だろう？という疑問のもと調べ直したのでまとめたいと思います。 結論、特に新しいものではなく典型的な Mechanize および Nokogiri による構成に落ち着きました。 Nokogiri は直接操作するのが初めてだったので、使ってみた感想にも触れていきたいと思います。 この記事で説明すること Ruby での Webサイトスクレイピング手法の実装の一例を説明します。 ログインが必要なページでの Mechanize の実装例について そして記事の最後ではなぜ Ruby なのかを個人的な目線で説明します。 説明しないこと Ruby の環境構築
Rubyのnokogiriとmechanizeの使い分け
nokogirirはHTMLドキュメント解析 mechanizeは「シンプルログイン」認証突破 「シンプルログイン」の個人的な定義は、「フォームにIDとパスワードを入力してログインボタンをクリックしてマイページへ！」みたいなサイトです。 「え？逆にそれ以外何があるの？」最近よくあるじゃないですか、IDを入れたらパスワード入力フォームが現れたり、ログイン時にページが動的に動くサイト。そういうサイトでもmechanizeで認証とれるかもしれませんが、個人的に私はすぐに諦めます。そういうサイトはすぐにselelniumに移行します。 「すぐ諦めたら、力つかないよ！」確かに一理ありますね。しかし私はスピードとストレスと全体的なコストを比較して、「シンプルログインサイト以外はseleniumに即移行！」とすることにしました。 nokogiriの基本的な使い方 Webページ「https:// ○○○.
[Ruby]確定申告の時期だからAmazonから注文履歴をスクレイピングしてみるメモ - Qiita
はじめに 確定申告用にAmazonでの買い物履歴が欲しかったのだが、Amazon.jpではCSVとかがなさそうなので、自動で取ってくるスクリプトを書いてみました。 一度に５件（？）以上買い物していると「◯個すべての商品を表示」みたいなリンクが出るのですが、そこは対応していません。 Rubyは初心者なので、注文履歴をゲットしてくる処理と、HTMLを読み込んでCSVに変換する処理をわけて書いています。 準備 mechanizeとnokogiriを使用するのでインストールしておきます。 require 'open-uri' require 'mechanize' require 'kconv' agent = Mechanize.new agent.user_agent = 'Mac Safari' url = 'https://www.amazon.co.jp/ap/signin?_encod
![[Ruby]確定申告の時期だからAmazonから注文履歴をスクレイピングしてみるメモ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5567f345ca79c0da4b25f23fadbc900698349165/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUnVieSU1RCVFNyVBMiVCQSVFNSVBRSU5QSVFNyU5NCVCMyVFNSU5MSU4QSVFMyU4MSVBRSVFNiU5OSU4MiVFNiU5QyU5RiVFMyU4MSVBMCVFMyU4MSU4QiVFMyU4MiU4OUFtYXpvbiVFMyU4MSU4QiVFMyU4MiU4OSVFNiVCMyVBOCVFNiU5NiU4NyVFNSVCMSVBNSVFNiVBRCVCNCVFMyU4MiU5MiVFMyU4MiVCOSVFMyU4MiVBRiVFMyU4MyVBQyVFMyU4MiVBNCVFMyU4MyU5NCVFMyU4MyVCMyVFMyU4MiVCMCVFMyU4MSU5NyVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MiU4QiVFMyU4MyVBMSVFMyU4MyVBMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9Y2YxN2IyYTg3MTZjZGFjZWQxYTBmM2Y3MWQ5ZDkxMmU%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBKdW5TdXp1a2lKYXBhbiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MWY0YmI5ZjhhZjVlNGZhZDI1ZmM2YmQwZGM5MzUzODU%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D1ae7a5a2455419bcd9382d7c294b539a)
読書メーターのスクレイピングに rubyXL, parallel が便利だった - Qiita
読書メーターには、読書記録（読んだ本、積ん読本、読みたい本、本棚など）を外部にファイルとしてエクスポートする機能がありません。Ruby のライブラリ mechanize, nokogiri を使って、読書メーターのサイトをスクレイピングして、データをExcelブックに取り出すプログラムを作りました（bmscrp.rb ）。Excelブックの生成には rubyXL を使い、書誌情報の収集は prallel を使って並列処理しました。 nokogiri がスクレイピングに必須なのは言うまでもありませんが、parallel で並列処理が簡単に記述できるのは、RESTなサイトからデータを収集する時にとても便利です（サイトに負荷をかけないように気をつけないといけませんが）。 github で公開しています。以下、README.md からの抜粋です。 Requirements ruby 2.1.8,
Webスクレイピングライブラリ "Yasuri" をリリースしました - Qiita
はじめに こんにちは．私はWebスクレイピングが大好きなのですが、Rubyでもっと簡単にスクレイピングができればと思い、ライブラリを書いてみました． ようやくREADMEとUSAGEが書けたので公開しようと思います． ソースはGithubで公開しています． 特にドキュメントの英語が大変怪しいので、つっこみいただけると喜びます． tac0x2a/yasuri gemでも公開しているので、以下のコマンドで簡単にお試しできます． 簡単なサンプルと解説を書いてみました． Yasuriでお手軽スクレイピング よろしければ使ってみてください＞＜ Yasuri とは Yasuri (鑢) は簡単にWebスクレイピングを行うための、"Mechanize" をサポートするライブラリです． Yasuriは、スクレイピングにおける、よくある処理を簡単に記述することができます． 例えば、 ページ内の複数のリンクを
RubyのMechanizeとNokogiriで読書メーターをスクレイピング - THE SNOWBALL
RubyのMechanizeとNokogiriで読書メーターをスクレイピング Rubyで読書メーターをスクレイピングしたい 読書系SNSの読書メーターを利用しています。 読書メーター - あなたの読書量をグラフで管理 ユーザー間のコミュニケーションも活発で、お気に入り・お気に入られ(Twitterでいうフォロー・フォロワーの関係)のユーザーとどのくらい同じ本を読んでいるか(このことを共読と呼んでいます)、なんて話題で盛り上がったりしてます。 ユーザー毎のマイページでそういう情報は確認できますが、数字は日々変化しますし、何十人、何百人といると楽な方法が欲しくなります。 あるお気に入りユーザーの方がPerlで共読数などを一括取得するスクリプトを書かれていて、以前それをいただいたんですが、自分の環境ではうまく動かなかったのでどうせなら自分が勉強中のRubyで同じものを書いちまえ、ということで書い
RubyのMechanizeとNokogiriで読書メーターをスクレイピング - THE SNOWBALL
RubyのMechanizeとNokogiriで読書メーターをスクレイピング Rubyで読書メーターをスクレイピング Rubyで読書メーターをスクレイピングしたい 読書系SNSの読書メーターを利用しています。ユーザー間のコミュニケーションも活発で、お気に入り・お気に入られ(Twitterでいうフォロー・フォロワーの関係)のユーザーとどのくらい同じ本を読んでいるか(このことを共読と呼んでいます)、なんて話題で盛り上がったりしてます。 ユーザー毎のマイページでそういう情報は確認できますが、数字は日々変化しますし、何十人、何百人といると楽な方法が欲しくなります。 あるお気に入りユーザーの方がPerlで共読数などを一括取得するスクリプトを書かれていて、以前それをいただいたんですが、自分の環境ではうまく動かなかったのでどうせなら自分が勉強中のRubyで同じものを書いちまえ、ということで書いてみました
RubyのMechanizeとNokogiriで読書メーターをスクレイピング - Qiita
Rubyで読書メーターをスクレイピング Rubyで読書メーターをスクレイピングしたい 読書系SNSの読書メーターを利用しています。 読書メーター - あなたの読書量をグラフで管理 ユーザー間のコミュニケーションも活発で、お気に入り・お気に入られ(Twitterでいうフォロー・フォロワーの関係)のユーザーとどのくらい同じ本を読んでいるか(このことを共読と呼んでいます)、なんて話題で盛り上がったりしてます。 ユーザー毎のマイページでそういう情報は確認できますが、数字は日々変化しますし、何十人、何百人といると楽な方法が欲しくなります。 あるお気に入りユーザーの方がPerlで共読数などを一括取得するスクリプトを書かれていて、以前それをいただいたんですが、自分の環境ではうまく動かなかったのでどうせなら自分が勉強中のRubyで同じものを書いちまえ、ということで書いてみました。 共読解析ツールのソースコ
読書メーターにログイン状態でアクセスし、お気に入りユーザーの読書状況を一括取得するRubyスクリプト
kyodoku.rb p��r V �M�r V # -*- coding: utf-8 -*- require 'mechanize' require 'nokogiri' require 'kconv' module HashInitializable def initialize(attributes={}) attributes.each do |name,value| send("#{name}=",value) end end end class HashInitializableStruct def self.new(*arguments) struct = Struct.new(*arguments) struct.send(:include, HashInitializable) struct end end properties = [:id,:name,:user_u
Mechanizeでページ遷移しながらスクレイピング - Qiita
ちょっとダルいポイントが有ったのでメモ程度に。 スクレイピング対象サイトとスクレイピングの流れは ページャで何ページか一覧ページがある 一覧ページのタイトルをクリックすると詳細ページが見れる 詳細ページの一部を使用 また他のタイトルをクリックしていく CSVで出力（別にいらないけどメモ代わりに。。） みたいな感じです。mechanizeだけでやります。 require 'mechanize' require 'csv' class ScrapingPages def initialize @agent = Mechanize.new @data = [] end def retrieve # 1ページ目から10ページ目までスクレイピングする (1..10).each do |i| page = @agent.get(url(i) each_section(page) do |section
Mechanizeでページ遷移しながらスクレイピング - RoadMovie
ちょっとダルいポイントが有ったのでメモ程度に。 スクレイピング対象サイトとスクレイピングの流れは ページャで何ページか一覧ページがある 一覧ページのタイトルをクリックすると詳細ページが見れる 詳細ページの一部を使用 また他のタイトルをクリックしていく CSVで出力（別にいらないけどメモ代わりに。。） みたいな感じです。mechanizeだけでやります。 require 'mechanize' require 'csv' class ScrapingPages def initialize @agent = Mechanize.new @data = [] end def retrieve # 1ページ目から10ページ目までスクレイピングする (1..10).each do |i| page = @agent.get(url(i) each_section(page) do |section
Mechanize - Ruby Mechanize wiki (ja)
Ruby Mechanize wiki (ja) Ruby の Mechanize の wiki のよてい トップページページ一覧メンバー編集 Mechanize 最終更新： kitamomonga 2010年10月06日(水) 18:03:39履歴 Tweet Mechanize サーバにアクセスするための「Web ブラウザ」を表現するクラスです。このクラスのオブジェクトを操作してウェブにアクセスします。 require 'rubygems' require 'mechanize' require 'kconv' # アクセスのためのオブジェクトを作成 agent = Mechanize.new # Rubyの日本語サイトのトップページ uri = URI.parse('http://www.ruby-lang.org/ja/') # uri にアクセスしてページを取得 agent.ge
Mechanize::Form - Ruby Mechanize wiki (ja)
Ruby Mechanize wiki (ja) Ruby の Mechanize の wiki のよてい トップページページ一覧メンバー編集 Mechanize::Form 最終更新： kitamomonga 2010年10月18日(月) 12:59:42履歴 Tweet Mechanize::Form HTML上にあるフォーム（<form>…</form>）ひとつを表すクラスです。 フォームコントロールへのアクセス このクラスが提供するメソッドで各種フォームコントロール（入力欄、チェックボックス等）のオブジェクトを探す 探した入力欄などのオブジェクトのvalueを直接入力や項目選択で適当に変更する このクラスが提供するメソッドで、このクラスが表現するURLへフォームデータを送信 という流れになります。コントロール名HTML探すメソッド1行入力欄<input type="text">#f
Mechanize::Form::Field - Ruby Mechanize wiki (ja)
Ruby Mechanize wiki (ja) Ruby の Mechanize の wiki のよてい トップページページ一覧メンバー編集 Mechanize::Form::Field 最終更新： kitamomonga 2010年10月18日(月) 14:56:02履歴 Tweet Mechanize::Form::Field テキスト入力フィールド全般、あるいは hidden なコントロールひとつを表します。 一行入力欄、 <form name="field1"> <input type="text" name="oneliner" value=""> </form> 複数行の入力欄、 <form name="field1"> <textarea name="multi">テキスト1行目 2行目</textarea> </form> type="hidden" で表現される隠しコン
rubyのmechanizeライブラリを用いたとあるテニスコートのコート予約自動化スクリプト(の一部)赤面ソースコード公開 - 陰気なギークが地球を回す
大学のIT技術講演会で株式会社はてなの人に触発され、株式会社はてなの回し者である友人 @y_uuki に招待されるがまま ブログを始めました。 はてな記法モードというものでソースコードを綺麗に表示出来るとのことなのでとりあえず rubyのMechanizeライブラリを用いたとあるテニスコートのコート予約自動化スクリプト (の一部、テニスコートの抽選予約に選ばれたものに対して「予約します」という意思確認を行う処理の自動化)のソースコードを公開します。 因にputs("Usage:intentioncheck.rb input/id.txt output/filename_out")となっていますが、読み込むファイルid.txtは "ID,パスワード,名前(改行)"を80人分書いてあります。 かなり汚いコードなので書き方の添削をしていただけるとありがたいです。 # encoding: utf-
Mechanize::Page - Ruby Mechanize wiki (ja)
Ruby Mechanize wiki (ja) Ruby の Mechanize の wiki のよてい トップページページ一覧メンバー編集 Mechanize::Page 最終更新： kitamomonga 2010年10月16日(土) 16:33:09履歴 Tweet Mechanize::Page 「サーバから取得した HTML」を表すクラスです。サーバから取得したファイルが HTML、XHTML、WAP だったときに返り値にこのクラスのオブジェクトが使用されます。 HTML 構造を解析した結果を内部で保持しています。 フォームを条件で探して操作したいときは #form_with メソッドを、 # <form name="f1"> なフォームを探してブロックに渡す agent.page.form_with(;name => 'f1'){|form| form.... リンクを条件で
Rubyでウェブサイトを操作してリストをつくる〜mechanize | | Scimpr Blog
以前からRailscastsというRuby on Railsの動画サイトが好きでよく見ているのだが、３８０近く動画があって気になったものから見ているので、どれをみたのかわからなくなってきた そこで、mechanizeというruby gemをつかって動画のリストを取得してチェックリストを作ることにした mechanizeは、指定したウェブサイトの要素を分析して、フォームに必要な事項を入力して、クリックだとか、その結果のうち、div#resultに書かれている要素を抜き出すだとかいうことをしてくれる 参考 railscasts.com/episodes/191-mechanize mechanize.rubyforge.org/GUIDE_rdoc.html
[巡] Mechanizeその2
以前、[巡] Mechanizeによるデータ保存という記事を書いたが 最近またちょこちょこ使っているのでメモを残しておく。 今回は、アクセス先として出欠情報の一覧があるようなページを 想定していて、テーブルにある一覧データをごっそりエクセルに 落とすようなのを考えている。 いちいち見に行くのがめんどいので、windowsのスケジューラにでも スクリプトを登録して、毎日定期的に出欠一覧を落としておくわけだ。 で、前日とか当日の用事の前にそのエクセルをみれば、誰が来て 誰が来ないかわかる、と。 いやあ、ブラウザの起動すら面倒とか、ダメ人間だ。（笑） ■準備 mechanizeを使うわけだが、今回データをエクセルに落とすので、 spreadsheetも併用する。いつものようにbundlerで。 なお、rubyは1.9.3p374 (2013-01-15) [i386-mingw32]を使用。 C
![[巡] Mechanizeその2](https://cdn-ak-scissors.b.st-hatena.com/image/square/665b24f75b827df75ecf796375541d66cca24cd0/height=288;version=1;width=512/https%3A%2F%2Fblog-imgs-35.fc2.com%2F2%2Fk%2Fr%2F2kr%2Fnao.jpg)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - HiroshiTakagi/bmscraping
GitHub - tac0x2a/yasuri: Yasuri (鑢) is easy web scraping library.
