私、餡子のためなら逆立ちだってしますよ。 こじらせている。 食べたいと思ったら食べたいのである。 ここが北カリフォルニアの片田舎であろうと、私があんみつが食べたいと思えば、あんみつは今すぐ作って食べなくてはいけないものになる。食いしん坊の思考は凄まじい。 子供が観ていたアニメで、赤ちゃんが空の…
問題の概要 MechanizeでTLSv1を使用して暗号化通信するサーバー上のページにアクセスしようとすると、接続が切断されます。 再現コード require 'rubygems' require 'mechanize' agent = Mechanize.new agent.verify_mode = OpenSSL::SSL::VERIFY_NONE # 証明書の検証をしない(通常はこの行は不要) agent.get('https://www.hikari.ntt-east.net/AGT_Main.htm') # => Connection reset by peer $ ruby1.9.3 ng.rb /var/lib/gems/1.9.1/gems/net-http-persistent-2.8/lib/net/http/persistent/ssl_reuse.rb:70:in
スクレイピングのチュートリアルを書いてみた。 参考:http://nokogiri.rubyforge.org/nokogiri/Nokogiri.html まだまだたくさんのクラスやメソッドがあるが(読んでない)、HTMLのスクレイピングに限定すれば多分これくらいで十分。 2014-02-16追記 なんかたくさんブックマークされていることに気づいたので、サンプルコードのRuby1.9/2対応のアップデート。 Mechanize周りも修正。WWW::Mechanize → Mechanize 等 (0) 前提知識 Ruby、HTML、DOM、CSSセレクタまたはXPath (1) クラス構造の理解 Nokogiri::HTML::Document < Nokogiri::XML::Document < Nokogiri::XML::Node < Object Nokogiri::XML::
仕事で、Webサイトを自動巡回するプログラムを書くことがあり、rubyでのhttp通信やスクレイピングについて調べました。そのイロハをメモっておきます。 ruby Ruby 1.9.3を使います。 C:\WINDOWS\system32>ruby --version ruby 1.9.3p194 (2012-04-20) [i386-mingw32] Net::HTTPとURIライブラリ http通信には、標準ライブラリのNet::HTTPを使います。このライブラリのインターフェイスは盛り沢山で、GETやPOSTリクエストを送る方法が何通りもあります。 クラスメソッドのget クラスメソッドのget_response クラスメソッドのpost_form インスタンスメソッドのget インスタンスメソッドのpost インスタンスメソッドのrequest インスタンスメソッドのrequest_
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く