Capybara+PhantomJS+Nokogiriを利用してスクレイピング - プログラマでありたい
CapybaraとPhantomJS、Nokogiriを利用してのクローラー・スクレイピングの紹介です。 PhantomJSとは？ PhantomJSは、ヘッドレスブラウザと呼ばれるWebKitのエミュレータです。ヘッドレスブラウザとは、GUIではなくCUIから利用できるブラウザでプログラムから呼ばれます。UIのテストツールとしてSeleniumのようなサービスがあります。Seleniumはブラウザを直接操作するので、環境依存や動作が重いといった幾つかの問題点があります。そこでよく利用されるのがPhantomJSです。Seleniumに比べて、軽量というメリットがあります。RubyからPhantomJSを扱うライブラリとして、Poltergeistがあります。 Capybaraとは？ Capybaraは、WebシステムのUI層のテストをサポートするためのライブラリです。主にDSL機能とDr
Ruby+Nokogiriでスクレイピング入門 - プログラマでありたい
クローラー／スクレイピング Advent Calendar 2014の5日目です。あと、全部俺Advent Calendarも開催中です。 Webからデータを取るためにスクレイピングする際は、Rubyを使うことが多いです。理由としては、Nokogiriが手軽で簡単だからの一点です。Rubyによるクローラー開発技法でも随所に紹介しています。随所というレベルではなく、手を変え品を変えNokogiriでデータ取っているだけじゃねぇかと批判を受けるのではと、懸念するレベルかもしれません。Nokogiriは手軽で便利なので、ちょっと使い方を覚えておくだけで楽できるケースが一杯あります。ということで、Nokogiri入門編です。 Nokogiriの使い方 Nokogiriは、Rubyで実装されたHTML/XMLの構文解析器（パーサー）です。Rubyの中では、デファクト・スタンダードと言っても差し支えが
rubyのNokogiriをもっと簡単に！Slopする。 - それマグで！
ruby のNokgiri をもっと簡単に使いたい。 PHPのSimpeXMLに負けてる気がします。JSON.load にも負けてる気がします。 NokogirのSlopを見つけた doc = Nokogir::Slop("<book><title>日常に潜む数理曲線</title></book>") doc.book.tile.text #=> 日常に潜む数理曲線 これが出来る。 もういちいち、searchで降りて行かなくていいんです。オブジェクトしてアクセ出来るようになってとても便利なんです。 実際にやってみた 次のような。XMLがあるとき users.xml <?xml version="1.0" encoding="utf-8"?> <users> <user> <loginId>takuya@mmmm.jp</loginId> <passwd>************</pass
MacにNokogiriをインストールする。
あちこちググって回ったらみんな少しずつ違って試行錯誤したのでメモ。 こんな感じでインストールできた。 % sw_vers ProductName: Mac OS X ProductVersion: 10.9.4 BuildVersion: 13E28 % brew tap homebrew/dupes % brew install libxml2 libxslt libiconv % brew link libxml2 libxslt --force % bundle config build.nokogiri --use-system-libraries --with-xml2-include=`brew --prefix libxml2`/include/libxml2 --with-xml2-lib=`brew --prefix libxml2`/lib --with-xslt-in
Nokogiriメモ。XMLを解析する - ぽひゅっとメモ
別途で、XMLファイルを出力するのも書きます(次の日記) まず今回の日記は Nokogiriでxmlファイルを読み込む･解析のやり方について(メモ程度)。 抽象的すぎて良い例ではないですが、こんなXMLがあったとする <xml_node> <test_node type="a"> <hoge> <hoge_child>hoge1</hoge_child> <hogehoge>hoge2</hogehoge> </hoge> <fuga>fuga1</fuga> <piyo>piyo1</piyo> </test_node> <test_node type="a"> <hoge> <hoge_child>hoge3</hoge_child> <hogehoge>hoge4</hogehoge> </hoge> </test_node> <test_node type="b"> <hoge>
OS X で Nokogiri をインストールする
Homebrew を利用している OS X で Ruby 製 XML 等パーサーである Nokogiri をインストールしたときのメモ。基本的に公式サイトの「Installing Nokogiri」（以下「公式」）の通りだが、そちらの情報が古くなっているので現在の状態に合わせて少しアレンジした。 Homebrew で関連ライブラリをインストールする必要なライブラリは libxml2 libxslt libiconvの 3 つ。公式の記述では libiconv は手動でビルドするようになっているが、現在は formula が用意されているので Homebrew でインストールすることができる。 以下を実行して Homebrew でインストールする。 brew install libxml2 libxslt libiconv すべて keg-only なので、brew link する必要はない
Ruby製の構文解析ツール、Nokogiriの使い方 with Xpath - プログラマでありたい
RubyでHTMLやXMLをパースする構文解析ツールの定番は、Nokogiriです。スクレイピングする際の必需品で、なくてはならないモジュールの１つです。ただ色々なことが出来る反面、どこから取りかかれば良いのか解り難い部分もあります。自習を兼ねて、Nokogiri概要と主要な機能を紹介してみます。 Nokogiriとは何か？ ReademeによるとNokogiriとは、「HTMLとXMLとSAXとXSLTとReaderのパーサー」で、特徴としては、XPathとCSS3セレクター経由で探索する機能を持つことのようです。他にもHTMLやXMLのビルダーの機能を持っていますが、HTMLとXMLのパーサー（構文解析器）と覚えておけばよいでしょう。 Nokogiriのクラス構造 Nokogiriは、なかなか巨大なライブラリです。10以上のモジュールと70以上のクラスで構成されていて、yardでダイア
Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]
プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー
![Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2ea7e72d0d7f3ba6c237909f321e67ffbdaa24e/height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
最強の情報収集術！初心者向けRuby＋NokogiriでWebスクレイピング徹底解説 - サラリーマン休日副業で月10万円以上目指すページ
2014-01-26 最強の情報収集術！初心者向けRuby＋NokogiriでWebスクレイピング徹底解説 プログラミング はじめに 情報氾濫の時代、インターネット上には数えきれないほどの情報で溢れています。効率よく情報収集を行うことができたら・・・そんなあなたにオススメしたいのはWebスクレイピング。 プログラミングを使って自動でWeb情報をクローリングし、加工した上で必要な情報を効率よく収集します。 プログラミングと聞いて顔が曇った方も多いかも知れませんが、現在はプログラミングの敷居もかなり下がっています。 Rubyは日本語製のスクリプト言語。和製ゆえにドキュメントも豊富です。今回はWindowsな方向けにRubyの導入から実際にサンプルプログラムを動かしてみる所まで詳説したいと思います。 Rubyのインストール Ruby InstallerのHPから「Ruby 2.0.0-p***」
Nokogiriでスクレイピング - Qiita
nokogiriとは gemで提供されているスクレイピングライブラリのこと。 公式サイト http://nokogiri.org/ install gemでインストールする。 使い方 使い方はとにかく簡単。 スクレイピングしたいページにアクセスし、HTMLを取得してきた後、nokogiriを通して各要素にアクセスする。 要素へのアクセス方法は、XPathというものとCSS記法によるものがあるらしいが、普段使い慣れているCSSが使えれば十分だと思った。 サンプル require 'nokogiri' require 'open-uri' html = Nokogiri::HTML(open('https://www.google.co.jp/')) logo = html.css('#hplogo').first # id="hplogo" logo.name # タグ名 logo.attr
とある開発者ブログ: open-uri + Nokogiri + Rails 3.2 でスクレイピング
2012年9月9日日曜日 open-uri + Nokogiri + Rails 3.2 でスクレイピング イントロ Railsでopen-uriでwebサイトのデータをスクレイピングして、Nokogiriでパース、jsonで返すまでの流れの備忘録メモです。HTTP/HTTPS(SSL)にも対応しています。もし、もっといい方法があればぜひレクチャーお願いします！ 1) helper/application_helper.rbなどに下記を追記 # htmlをパースする def purse_html(url) json = {} begin if url =~ /http[s]?\:\/\/[\w\+\$\;\?\.\%\,\!\#\~\*\/\:\@\&\\\=\_\-]+/ res = open(url,"r",{:ssl_verify_mode=>OpenSSL::SSL::VERIFY
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Rails初学者向け】NokogiriをつかってほかのWebサイトから情報を取得しよう
キトー君の悪い口コミ・失敗談と効果・販売店舗情報・安全と危険性・代用自作方法
nokogiriとlibxml2とhomebrew - Qiita