RubyでHTTPリクエストの通信内容を確認する - Qiita
opening connection to www.google.co.jp... opened <- "GET / HTTP/1.1\r\nConnection: close\r\nHost: www.google.co.jp\r\nAccept: */*\r\n\r\n" -> "HTTP/1.1 200 OK\r\n" -> "Date: Sun, 30 Sep 2012 01:49:21 GMT\r\n" -> "Expires: -1\r\n" -> "Cache-Control: private, max-age=0\r\n" -> "Content-Type: text/html; charset=Shift_JIS\r\n" -> "Set-Cookie: PREF=ID=be9181a7dc77ebf4:FF=0:TM=1348969761:LM=1348969761:S
Ruby HTTPクライアントの比較表 - Qiita
Rubyには標準でnet/httpが入っていますが、これはちょっと低レイヤ寄りで使いづらいので、使いやすくしたHTTPクライアントライブラリが多数あります。 ありすぎてどれを選んでいいか調べていたところ、HTTPClientの作者さんによる比較スライドを見つけました： http://www.slideshare.net/HiroshiNakamura/rubyhttp-clients-comparison まとめると httpartyとrest-clientが2大人気（ソースはGemのダウンロード数とgithubのスター数。faradayはラッパーなので別枠） この2つで出来ることはほとんど同じ 違いはDigest認証（httppartyは可）、multipart post（rest-clientは可）くらい どちらもKeep-Aliveに対応していない HTTPClientはDigest
Ruby HTTP clients comparison
This document summarizes and compares Ruby HTTP client libraries. It discusses the sync and async APIs of 16 libraries including Net::HTTP, HTTPClient, and Faraday. It covers their compatibility, supported features like keep-alive connections, and performance based on benchmarks. The document recommends libraries based on priorities like speed, HTML handling, API clients, and SSL support. It encou
Ruby の HTTP クライアントライブラリ Faraday が便利そう
Ruby の HTTP クライアントライブラリ Faraday が便利そう Ruby の HTTP クライアントライブラリ Faraday が便利そう API ラッパの開発には RestClient gem だとか OAuth の必要なものは Net/HTTP + OAuth gem を使ってた Twitter gem や Instagram gem など API ライブラリのソースを読んでみると Faraday gem というものがよく使われてた なんとなく気になったので Faraday について調べてみた ついでに Tumblife gem を Faraday を使うようにした 以下そのメモ Faraday って何？ Faraday is an HTTP client lib that provides a common interface over many adapters (su
Mechanizeによるスクレイピングの基本的なことまとめ - そのねこが学ぶとき
Exhibiの内部的な話を書こう書こうと思って忘れてた。とりあえずMechanizeについて。 Mechanizeはスクレイピングを楽にしてくれるRubygemsです。ExhibiではMechanizeを使ったスクレイピングのRakeタスクを作成し、それを日次で実行することで、各美術館のサイトから展覧会情報を抽出しています。抽出した情報がDB内に存在していれば無視。存在しないのならDBに追加。こういうクローリングに関しては、ちょうど時同じくしてRubyのクロール入門本が去年出たんですけど未読です。技術的な話のみならず、人様のサイトへ機械的にアクセスする際のお作法的なことも載っているらしく、いつかは読みたいところ。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例posted with amazlet at 15.02.07るびきち 佐々木 拓郎 SBクリエイティブ 売り
Ruby+Mechanizeで対話型のスクレイピング - プログラマでありたい
クローラー／スクレイピング Advent Calendar 2014の6日目です。あと、全部俺Advent Calendarも開催中です。 リクエストがあったので、Mechanizeを使ったスクレイピング方法についてです。Mechanizeは、対話型の処理を得意とするスクレイピングの補助ツールです。対話型とは、例えばIDとパスワードを使ってログインするようなサイトなので、それぞれ項目に入力して次のページに遷移するような行為です。 Mechanizeのサンプルソース 下記は、Amazonアソシエイトサイトから売上を取得するサンプルです。 require 'mechanize' uri=URI.parse('https://affiliate.amazon.co.jp/') agent = Mechanize.new agent.user_agent_alias = 'Mac Safari'
Ruby+Nokogiriでスクレイピング入門 - プログラマでありたい
クローラー／スクレイピング Advent Calendar 2014の5日目です。あと、全部俺Advent Calendarも開催中です。 Webからデータを取るためにスクレイピングする際は、Rubyを使うことが多いです。理由としては、Nokogiriが手軽で簡単だからの一点です。Rubyによるクローラー開発技法でも随所に紹介しています。随所というレベルではなく、手を変え品を変えNokogiriでデータ取っているだけじゃねぇかと批判を受けるのではと、懸念するレベルかもしれません。Nokogiriは手軽で便利なので、ちょっと使い方を覚えておくだけで楽できるケースが一杯あります。ということで、Nokogiri入門編です。 Nokogiriの使い方 Nokogiriは、Rubyで実装されたHTML/XMLの構文解析器（パーサー）です。Rubyの中では、デファクト・スタンダードと言っても差し支えが
RubyでWebを操作できるMechanizeの利用例を集めてみた | Scimpr Blog
公式mechanize.rubyforge.org/ 使い方などMechanize について 楽々スクレイピング! Ruby Mechanizeの使い方 楽々スクレイピング! Ruby Mechanizeの使い方(2) リンクmechanizeでどんなことができるのか色々知りたかったので、使い方でなく実用例ぽいものを集めてみた. リンク先のコードは古いのもあって動かないかも そもそも公式のグーグル検索がそのまま動かないという DoCoMoの請求書を毎月Evernoteに送信してチェックするカスペルスキーのサイトからウィルスレベルをスクレイピングして、つぶやく。RubyのMechanizeではてなブログへ投稿RailsCastsの動画をタグごとにダウンロードしてくるスクリプトニコニコ動画の動画をダウンロードauの請求書を取得ソフトバンクの請求書を取得ゆうちょ銀行のログインとか取得かrubyの
楽々スクレイピング! Ruby Mechanizeの使い方 -- ぺけみさお
Mechanizeはスクレイピングを補助するRubyライブラリだ。 MechanizeはCookieのやり取りをはじめ、Webサイトとのインタラクションを自動化してくれる。 Net::HTTPやopen-uriでは面倒なWebサイトへのアクセスを、Mechanizeを使えば簡単にRubyで記述することができる。 以下では拙作のhttp://bestgems.org/を対象として、Mechanize 2.7.0の基本的な使い方を説明する。 初期化とWebページの取得MechanizeでWebページを取得するのは簡単だ。 Mechanizeクラスをnew()し、get()を呼びだせばWebページを取得できる。 WebページはMechanize::Pageオブジェクトになっている。 require 'mechanize' agent = Mechanize.new page = agent.ge
Net::HTTPをより簡単に利用できるgem Faraday｜TechRacho by BPS株式会社
こんにちは。ikedaです。 今回は、簡単なapi wrapperのgemを作りたくて調べていたところ、gem Faradayを知ったのでこちらの紹介とgemでどう実装したのかを書きたいと思います。 gem Faraday faradayは, HTTP Clientの操作をより簡易的に扱えるgemで, adapterとしても様々なライブラリが利用できます。私が利用するのはrubyの標準ライブラリに含まれているNet::HTTPをadapterとします。 READMEをみてもらうとまず書いてありますが、こちらになります Faraday is an HTTP client lib that provides a common interface over many adapters (such as Net::HTTP) and embraces the concept of Rack mid
Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]
プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー
![Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2ea7e72d0d7f3ba6c237909f321e67ffbdaa24e/height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
Mechanizeでのsubmit時の問題点 - それはそれ、これはこれ
ADSLモデム(NEC WAPRSTAR)の再起動をMechanizeでやろうとした。ところが、エラーにはならないのだが、再起動しない。 IEでの送信データと比較してみると、送信データが足りない。 <INPUT TYPE=submit NAME=No00420000 VALUE='登録'> というsubmitボタンだが、IEでやると送信データに No00420000=%93o%98%5E が含まれるが、Mechanizeだとその部分が欠落している。 普通は、こういうデータはサーバー側では参照しないと思うけど、WARPSTARはチェックしているようで、実際同じデータを作って投げると再起動した。 これはバグか？報告してみよう。 2014-02-18追記 修正されたとのこと。まだリリースされてないので確認できないけど。 https://github.com/sparklemotion/mecha
はてなブログ | 無料ブログを作成しよう
並走 今週のお題「上半期ふりかえり2025」 2025年の目標。たしかGoogle Keepに書いていたよなと思って検索すると、直球で「2025年の目標」と書かれたメモが出てきた。編集：2024年12月31日。（1）マラソン大会に出ること、（2）短歌を100個つくること、と書いてあった。 マ…
はてなブログ | 無料ブログを作成しよう
散歩に登山から普段着まで、機能性インナーについての私感 毎年、夏が近づいてくると機能製インナーの話題をネットで目にする機会が増えます。「エアリズムは汗ビショビショになる」とか「やっぱりモンベルのジオライン」「ミレーのアミアミが最強」等々。個人の経験に基づく声としてどれも間違ってないと思いますが、比較対象…
Rubyでwebにアクセスするならhttpclientが手軽 - http://rubikitch.com/に移転しました
http://d.hatena.ne.jp/willnet/20080626/1214487378 httpclientはopen-uriの手軽さと、Net::HTTPの機能を両立させてる使い勝手のいいライブラリだ。クッキーやkeep-aliveもサポートしている。ただし、Ruby 1.9未対応。Ruby 1.9だとParseDateなんてないぞーってエラーがでてしまう。→最新版でRuby 1.9対応 POSTの場合はpost_contentを使う。串、User-Agent、FromヘッダはHTTPClient.newの引数で。 require 'rubygems' require 'httpclient' require 'kconv' hc = HTTPClient.new query = "ruby" html = hc.get_content("http://www.google.
rubyでwebにアクセスするライブラリ、何使う？ - おもしろwebサービス開発日記
rubyでwebにアクセスするライブラリが複数あります。 標準のライブラリ open-uri Net::HTTP gemライブラリ mechanize curb(curl) どんなときにどれを使ったらいいんでしょうね？ということで簡単にですがそれぞれの特徴を調べてみました。 open-uri この中で一番簡単なライブラリ。openメソッドを拡張して、webページを普通のファイルのようにオープンできるようにします。詳しい使い方は下記参考。 open-uri - Rubyリファレンスマニュアル Net::HTTP getの他にpostやリダイレクトにも対応。下記のように、ブロックの中でサーバ内のコンテンツにアクセスするように書くので、同一サーバに何度もアクセスする場合はopen-uriより便利。 require 'net/http' Net::HTTP.version_1_2 Net::HTT
RubyのWWW::Mechanizeを解説してみる古い版 - きたももんががきたん。
思いは言葉に。 はてなブログは、あなたの思いや考えを残したり、 さまざまな人が綴った多様な価値観に触れたりできる場所です。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう
RubyでWebにアクセスするhttpclientがアップデート、Ruby 1.9対応 - http://rubikitch.com/に移転しました
Google Code Archive - Long-term storage for Google Code Project Hosting.