Defeating The Infamous Mechanize "Too Many Connection Resets" Bug - Scott W. Bradley
Have you ever seen this nasty, obnoxious error when using the Mechanize gem to write a screen scraper in Ruby? 1 Net::HTTP::Persistent::Error: too many connection resets (due to Connection reset by peer - Errno::ECONNRESET) after 2 requests on 14759220 This has plagued Mechanize users for years, and it’s never been properly fixed. There are a lot of voodoo suggestions and incantations rumored to a
How to parse consecutive tags with Nokogiri?
I have HTML code like this: <div id="first"> <dt>Label1</dt> <dd>Value1</dd> <dt>Label2</dt> <dd>Value2</dd> ... </div> My code does not work. doc.css("first").each do |item| label = item.css("dt") value = item.css("dd") end Show all the <dt> tags firsts and then the <dd> tags and I need "label: value"
rubyでニコニコ動画のコメントを取得する | このコードわからん
ニコニコ動画ってapiあったの！？ あれ、簡単にコメントだけ取得してくれないの？ くそ、こうなったら作るか、、、 極力gemに頼らないぜ！ というわけで、なかなかに不親切なニコニコ動画のapiと戦っていた。 どうやら、ニコニコ動画のコメントをapi経由で手に入れるには３段階必要で、 １．ニコニコ動画にログイン ２．getflv apiにgetしてスレッドIDなど取得 ３．msg.nicovideo.jpにpostしてコメントxml取得 ということらしいです。 まず、ニコニコ動画にログイン、ということで、 https://secure.nicovideo.jp/secure/login?site=niconico に、自分のメールアドレスとパスワードをpostします。 httpsです。セキュアです。 すると、なんかuser_sessionとかいうクッキーがやたらと帰ってくるので、 その中から
rubyで2chクローラーを書いてみた（改訂） - 山羊の頭の日記
キャッシュ機能追加 #!/usr/bin/ruby -KU -w require 'net/http' require 'kconv' def getfile(url) content='' begin res = Net::HTTP.get_response(URI.parse(url)) puts "#{res.code} #{url}" if res.code == '200' content=res.body.toutf8 end rescue Timeout::Error rescue SocketError end content end def scanhref(url,re) getfile(url).scan(re) end Dir.mkdir('./ima') if ! FileTest.directory?('./ima') Dir.mkdir('./kako') i
あらためてRuby製のクローラー、"anemone"を調べてみた - プログラマでありたい
３年ほど前に、Ruby製のクローラー"anemone"を紹介しました。その当時から完成度が高く、Rubyでクローラーを使う場合はanemoneを利用してきました。最近、他に新しくて良いのがないか調べましたが、機能面の網羅性という意味でanemoneを超えるものは見つけられませんでした。そこで改めてanemoneのソースを読んでみたところ、クローラーが必要とする機能を必要最小限で実装され、やはり中々良い出来です。冬休みの宿題ではないですが、勉強の意味を兼ねてソースを追っていくことにします。 Anemoneが利用しているライブラリ一覧 anemoneが利用しているライブラリは、４種類に分類できます。 Ruby標準or一般的なライブラリ データ取得で利用しているライブラリ データ解析で利用しているライブラリ データ保存で利用しているライブラリ この分類別に構造をみるとわかりやすいので、順番に追っ
はてなブログ | 無料ブログを作成しよう
新米と秋刀魚のわた焼き お刺身用の秋刀魚を買いました。1尾250円です 3枚におろして、秋刀魚のわたに酒、味醂、醤油で調味して1時間ほど漬け込み、グリルで焼きました 秋刀魚のわた焼き わたの、苦味が程よくマイルドに調味され、クセになる味わいです 艶やかな新米と一緒に 自家製お漬物 土…
Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]
プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー
![Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2ea7e72d0d7f3ba6c237909f321e67ffbdaa24e/height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
Webスクレイピングのやり方(Ruby編) - うねろぐ
Webスクレイピングのプログラムを書く必要があったので，Rubyでそれを書く方法を調べてまとめる． Rubyを採用したことに理由はなく，必要があればJavaでの方法も調べる． Rubyを用いた場合，HTML/XMLのパースにNokogiriというライブラリが役に立つ( http://nokogiri.rubyforge.org/nokogiri/Nokogiri.html )． 使い方は以下のようにすれば，urlからHTMLテキストを取得し，Nokogiri::HTML::Document オブジェクトを得ることができる． # -*- coding: utf-8 -*- require 'rubygems' require 'nokogiri' require 'open-uri' url = 'http://www.amazon.co.jp/registry/wishlist/32BLH
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
noort ‐ Pieter Michels
How to access attributes using Nokogiri