Ruby+Nokogiriでスクレイピング入門 - プログラマでありたい
クローラー／スクレイピング Advent Calendar 2014の5日目です。あと、全部俺Advent Calendarも開催中です。 Webからデータを取るためにスクレイピングする際は、Rubyを使うことが多いです。理由としては、Nokogiriが手軽で簡単だからの一点です。Rubyによるクローラー開発技法でも随所に紹介しています。随所というレベルではなく、手を変え品を変えNokogiriでデータ取っているだけじゃねぇかと批判を受けるのではと、懸念するレベルかもしれません。Nokogiriは手軽で便利なので、ちょっと使い方を覚えておくだけで楽できるケースが一杯あります。ということで、Nokogiri入門編です。 Nokogiriの使い方 Nokogiriは、Rubyで実装されたHTML/XMLの構文解析器（パーサー）です。Rubyの中では、デファクト・スタンダードと言っても差し支えが
株とお金儲けと時々スクレイピングの話
今年は一つ株でも始めてみようかと思っている。 せっかくなので、まー株の勉強とプログラミングの勉強をかねて一石二鳥でやれないかなーと思ってる。 この前の記事で、アグリコラとリアル人生ってかいたように、今一石二鳥にはまっているのだ。 例えば、運動不足を解消するために毎朝走っている。 でも、朝起きるのはしんどいってことで 通勤を走って行うことで、一石三鳥（通勤出来るし、早くつくし、運動も出来る！） というすばらしい取り組みをやったりしてる。 その一環で、プログラミングとお金儲けと株の勉強を同時にやってしまおうじゃないか！ さらには、その様子をニコ生で放映することでコンテンツにしてしまうという いいとこどり！！ 良いことしか無い！ ぐらいの勢いですよ ってのがこの企画。 んーでも何から始めればいいんだ？ ってことで まずは情報集めでしょう と思って、いろいろ見てると NISAで買いたい10万円以内
Google検索の鉄道運行情報をスクレイピングする - Qiita
電車がちゃんと動いてるかをコードでチェックしたい時用 Google検索で「路線名 運行情報」と検索したときの結果をスクレイピングするテスト # -*- encoding: UTF-8 -*- require 'cgi' require 'open-uri' require 'nokogiri' require 'date' require 'json' def get(word) base = "http://www.google.co.jp/search?num=1&lr=lang_ja&oe=utf-8&q=" url = "#{base}#{CGI.escape(word+" 運行情報")}" html = open(url, 'User-Agent' => 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like
RubyのNokogiriを使ってサイトをスクレイピングする - Think Big Act Local
Rubyのライブラリ「Nokogiri」を使ってみました。 Nokogiriとは HTMLやXMLをパースするためのRubyライブラリ XPathやCSSセレクタを使ったパースが可能 公式：http://nokogiri.org/ 試した環境 ruby 1.9.3 簡単なサンプル Qiitaにあがっていたものを拝借 - Nokogiriで文字化けを防ぐ - Qiita sample.rb # -- coding: utf-8 require "open-uri" require "rubygems" require "nokogiri" # スクレイピングするURL url = "https://www.walmart.com.br/" charset = nil html = open(url) do |f| charset = f.charset f.read end doc = No
Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]
プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー
![Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2ea7e72d0d7f3ba6c237909f321e67ffbdaa24e/height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
