オープンソースのRubyのWebクローラー"Anemone"を使ってみる - プログラマでありたい
Webサイトの調査をしようと思い、サイトクローラーが必要になりました。 各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。 ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。 ちなみにnokogi
Cookieの使い方 - みずぴー日記
id:mzp:20070214:1171465153の続き。RubyのNet::HTTPでのクッキーの扱い方。 クッキーの受信 クッキは、Set-Cookie:というフィールドに書かれている。 ただし、複数のSet-Cookieフィールドが存在することが普通なので、Net::HTTP#get_fieldsを使って配列の形で取得する。 require 'net/http' Net::HTTP.start('www.tohoho-web.com'){|http| response, = http.get '/cgi/wwwcook.cgi' p response.get_fields('Set-Cookie') } 実行例: ["KAISUU=2; expires=Tue, 1-Jan-2030 00:00:00 GMT;", "HIZUKE=2007%2F02%2F16%2021%3A46%
rubyでssl通信 - chakokuのブログ(rev4)
rubyを使ってhttpsでWebサイトと通信するプログラムを作成。どうしてもSSLのサーバ認証がうまく通らなかった。 エラーの例 /usr/lib/ruby/1.8/net/http.rb:586:in `connect': certificate verify failed (OpenSSL::SSL::SSLError)いろんなサイトを見ていると、サーバ証明書を取得して、パスを切れとある。 いろいろやった結果、ルート証明書を取ってきて、そこにパスを切るのが正しいと思われる。（結果より判断） 参考にした「うなの日記」様では、サイトの証明書とあり、本当はどっちが正しいのか分かりません。本気でやるなら、rubyが呼び出していると思われるopensslをちゃんと調べないといけないと思われます。 以下はGoogleのWebAPI Auth REST?をrubyで呼び出すサンプル。。 requi
［SJJQR(仮)］公開サーバ持ちデビュ～（予定
php に移植する方向で脳内決定しちゃたんですが、それまでの間に調べた ruby の使える無料ホスティングサービスの一覧です。 PF-X.NET [pf-x.net] Kuronowish.com - 無料レンタルサーバー [kuronowish.com] HYEC.ORG [hyec.org] XREA.COM [xrea.com] 快適Webスペース 無料レンタルサーバー land.to [land.to] Atrx Networks [atrx.net] - FLNet.org - トップページ [flnet.org] Hayasoftトップページ [hayasoft.com] banana-milk.net - レンタルサーバ [banana-milk.net] RedBlue WebServer [red-b.org] プラン紹介 - 無料ホスティングサービス JOKER-MX
[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)
■ [ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize 今日は、RubyでWebサイトを解析するときに強い味方となるライブラリ、HpricotとWWW::Mechanizeを紹介します。 どちらも非常に強力なので、覚えておいて損はないよ！ 以下ではまずHpricotでHTMLを解析・編集する方法について解説します。 次に、「はてなダイアリーの自動更新」を例にWWW::Mechanizeの使い方を解説します。 Hpricot HpricotはHTMLを解析するためのライブラリです。 例えば「あるページのリンクだけを全部抜き出したい」と思ったとき、どうしますか？scrAPIを使う？でもscrAPIはやっぱり ちょっと使いたいだけなのにパーザ(Scrape)用のクラスを定義するのが面倒なんだよね！ Hpricotなら、たったこれだけで
![[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)](https://cdn-ak-scissors.b.st-hatena.com/image/square/b0dd2a08b2c0fff30d70543ed7fa340ebfeb5697/height=288;version=1;width=512/https%3A%2F%2Froute477.net%2Fd%2Fassets%2Fogimage.png)
rubyでwebにアクセスするライブラリ、何使う？ - おもしろwebサービス開発日記
rubyでwebにアクセスするライブラリが複数あります。 標準のライブラリ open-uri Net::HTTP gemライブラリ mechanize curb(curl) どんなときにどれを使ったらいいんでしょうね？ということで簡単にですがそれぞれの特徴を調べてみました。 open-uri この中で一番簡単なライブラリ。openメソッドを拡張して、webページを普通のファイルのようにオープンできるようにします。詳しい使い方は下記参考。 open-uri - Rubyリファレンスマニュアル Net::HTTP getの他にpostやリダイレクトにも対応。下記のように、ブロックの中でサーバ内のコンテンツにアクセスするように書くので、同一サーバに何度もアクセスする場合はopen-uriより便利。 require 'net/http' Net::HTTP.version_1_2 Net::HTT
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Nowhere Near - del.icio.us のブックマークをはてなブックマークへ同期 (2)
Hyper Estraier: a full-text search system for communities
programmers-paradise.com
Greenbear Laboratory - Hpricot Showcase-Ja