HTTPで疎通やレイテンシを確認する「httping」 - 元RX-7乗りの適当な日々
少し前に、某所のサーバ(自分たちで管理)で、通常時は問題ないのだけど、時々HTTPレスポンスで数秒かかる現象が見受けられたので、再現させるときに目視確認でひたすらHTTPリクエストが送れてレイテンシが確認できる「httping」を利用しました。 httpingは、所謂"ping"のHTTP版。HTTPリクエストでポーリングしてくれるコマンドです。ICMPは受け付けないけどHTTPはOK、そんなサーバにも監視などで使えます。 インストール Ubuntuでは、aptでインストールできました。簡単。 $ sudo apt-get install httpingこれだけです。 簡単な使い方 $ httping (URLまたはIPアドレス)で、実行可能です。以下、実行例。 $ httping http://xxx.xxx.xxx.xxx/ PING xxx.xxx.xxx.xxx:80 (http:
rubyでwebにアクセスするライブラリ、何使う？ - おもしろwebサービス開発日記
rubyでwebにアクセスするライブラリが複数あります。 標準のライブラリ open-uri Net::HTTP gemライブラリ mechanize curb(curl) どんなときにどれを使ったらいいんでしょうね？ということで簡単にですがそれぞれの特徴を調べてみました。 open-uri この中で一番簡単なライブラリ。openメソッドを拡張して、webページを普通のファイルのようにオープンできるようにします。詳しい使い方は下記参考。 open-uri - Rubyリファレンスマニュアル Net::HTTP getの他にpostやリダイレクトにも対応。下記のように、ブロックの中でサーバ内のコンテンツにアクセスするように書くので、同一サーバに何度もアクセスする場合はopen-uriより便利。 require 'net/http' Net::HTTP.version_1_2 Net::HTT
Rubyでwebにアクセスするライブラリ、どれが速い？ - おもしろwebサービス開発日記
なにやらRuby1.8.6のNet::HTTPは遅いという噂があります。 InfoQ: RubyのNet::HTTPで何が良くないのか? それでは一体どのライブラリが一番速いのでしょうか。調べてみました。 大きいファイルをダウンロード localhost(apache)に置いた10Mのファイルをダウンロードしてみました。ソースは下記の通り require "rubygems" require "benchmark" require "net/http" require "httpclient" require "open-uri" require "curl" Benchmark.bm do |x| File.open("/tmp/openuri", "w") do |file| x.report("open-uri"){ open("http://localhost/testfile")
Rubyist Magazine - 標準添付ライブラリ紹介 【第 7 回】 net/http
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、日本 Ruby の会の有志による Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0058 号 バックナンバー Rubyist Magazine 0058 号 RubyKaigi 2018 直前特集号 Rubyist Magazine 0057 号 RubyKaigi 2017 直前特集号 Rubyist Magazine 0056 号 Rubyist Magazine 0055 号 Rubyist Magazine 0054 号 東京 Ruby 会議 11 直
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Rubyのopen-uriで「|」が使えない。InvalidURIErrorになる。対処。 - このブログは証明できない。
いつも通り、open-uriを使おうと思ったのですが。まあ、open-uriなんて、今どきは女子高生も使っているので、説明するまでもないのですが。こんな感じです。 require 'open-uri' open("http://d.hatena.ne.jp/shunsuk") {|f| puts f.read } これだと、ちゃんと動きます。ですが、下のコードだと、InvalidURIErrorになります。 equire 'open-uri' open("http://d.hatena.ne.jp/shunsuk?p=a|b") {|f| puts f.read } 「|」が入ってるとダメらしいです。 uri/common.rbを修正すれば解決します。URI::REGEXP::PATTERN::RESERVEDを書き換えます。 RESERVED = ";/?:@&=+$,\\[\\]" 最
Rubyでwebにアクセスするならhttpclientが手軽 - http://rubikitch.com/に移転しました
http://d.hatena.ne.jp/willnet/20080626/1214487378 httpclientはopen-uriの手軽さと、Net::HTTPの機能を両立させてる使い勝手のいいライブラリだ。クッキーやkeep-aliveもサポートしている。ただし、Ruby 1.9未対応。Ruby 1.9だとParseDateなんてないぞーってエラーがでてしまう。→最新版でRuby 1.9対応 POSTの場合はpost_contentを使う。串、User-Agent、FromヘッダはHTTPClient.newの引数で。 require 'rubygems' require 'httpclient' require 'kconv' hc = HTTPClient.new query = "ruby" html = hc.get_content("http://www.google.
UnicornでSinatraアプリをデプロイしてみた - 射撃しつつ前転 改
最近は仕事でSinatraアプリを書いたりしているので、Sinatraアプリを動かすためにはどのHTTPサーバを使うのがベストなのかが気になっている。（先に結論を書いておくけれど、どれがベスト、という唯一の選択肢は今のところありません。適材適所です。） SinatraはRackの上に構築されているので、Rackに対応したHTTPサーバーを使って動かす事になるのだが、この数がやたらと多く、どれを使えばいいのか迷う。代表的なものを挙げただけでも、WebRick, Mongrel, Thin, Unicorn, Passenger(Apacheとかに組み込んで使うやつ), FastCGI, (普通の)CGI、これぐらいは選択肢がある（いくつかHTTPサーバじゃない物も混ざっているが、Rackが対応してるという点は共通している）。 WebRickはそもそもパフォーマンスに重点を置いていないし、Mo
変わるコンテンツの主流 | rionaoki.net
ネットの主役は誰なのか。一つの指標は誰が一番帯域を使っているかだ。以下の表は北アメリカにおける帯域使用率トップ10だ（出展）。 Netflix’s Squeeze — No Not That One, The Other One 左側がアップストリーム、右側がダウンストリームを示している。アップストリーム（一般ユーザーからの発信）では相変わらずP2P（BitTorrent）が首位を占めているが、注目はダウンストリーム（ユーザーにとってのダウンロード）だ。なんとNetflixが20%を超える帯域を利用しており、その割合はHTTP、つまり通常のウェブブラウジングに迫っている。ビデオ配信だけ見てもYouTubeの二倍だ。その他にも大量の画像を共有しているFacebookや音楽ファイルをダウンロードさせるiTunesがトップ10に食い込んでいる。 映画やテレビにおいてもネットでのストリーミングへシ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Kazuho@Cybozu Labs: Releasing Starlet 0.10, now runs faster than ever
Last Sunday my friend told me that Starman is now way faster than Starlet and I started to wonder why. There should not be such a difference between the two servers, sicne they share a lot in common. So I looked into the code yesterday, found the bottleneck and fixed them, as well as adding some tweaks. Here's what I did, and the chart[1] shows how the performance changed. 1) optimize the calcu
雑多の備忘録 - Perl - IO::Socket::INET
概要 インターネットソケットを扱うモジュール。IO::Socket を継承しており、IO::Socket は IO::Handle を継承しているため、読み書きを行うメソッドについては IO::Handle を参照のこと。 オプション new() コンストラクタあるいは configure() にて渡すことのできるオプション。 PeerAddr接続するホストのアドレス。単に "localhost" とホスト名を指定する以外にもポートを指定し "localhost:9999" の形式で渡せる。 PeerHostPeerAddr と同様。 PeerPort接続するポート、あるいはサービス名。"http", "http(80)" あるいは単にポート番号だけの "80" の形式で渡す。 LocalAddrバインドするアドレス。"localhost" あるいはポートを指定し "localhost:9
手軽に別スレッドで HTTP 通信を行う Objective-C のライブラリを作りました - cooldaemonの備忘録
iPhone アプリ開発の手始めに、NSURLConnection と NSOperation を組み合わせた Simple Http Client というモジュールを作りました。 使い方は、付属のテストコードを読んで頂けると、簡単に理解できると思います。 とても行数が少ないので、作る価値があったのか謎ですが（w； cooldaemon's SimpleHttpClient at master - GitHub 初めての Objective-C なので、突っ込み＆添削は大歓迎です。 機能追加しました。詳細は、SimpleHttpClient に JSON と XML のフィルタを追加しました をご参照ください。 HTML フィルタも追加しました。HTML に対して XPath が使えます。 NSOperationQueue を外部から与えられるようにしました。当たり前の事ですが、スレッドを
LWP::UserAgentでdecoded_contentしたら特定のContent-Typeで文字化けするのでハックした - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年04月25日11:42 Perl LWP::UserAgentでdecoded_contentしたら特定のContent-Typeで文字化けするのでハックした 実は今日、URLを入力してもらって、そのURLのタイトルを返す、みたいな処理をするコードを作ってました。で、大体のサイトは何も問題が無いんですけど、一部のサイトではうまく動いてくれないんです。。。 ちなみにコードはこんな感じです。すごく普通ですｗ #!/usr/bin/perl use strict; use warnings; use Encode qw(encode_utf8); use LWP::UserAgent; print get_title(), "\n"; sub get_title { my $ua = LWP::UserAgent->new; my $res = $ua->get("http://www
AnyEvent + Coro での並行ダウンローダの習作 - 昨日知ったこと
AnyEvent と Coro を使って、WEB から非同期に並行ダウンロードするプログラムの習作を作ってみた。http://kaede.to/~canada/doc/wiser-clawer-sample-using-coroをだいぶ参考にさせてもらっている。紹介されている非同期クローラはとてもいいのだが、自分がやろうとしていることを考えると、次の点がちょっと気になった。 対象 URI のリストは一千万オーダになる あらかじめメモリ上に列挙しておいていいのだろうか URI の数分のスレッドを起こしていいのだろうか 名前解決すると同一 IP アドレスになるホストが少なくない 同時リクエスト制限をかけるのはホスト名ではなく IP アドレスがいいのではないだろうか ということで、次のような特徴を持つスクリプトを書いてみた。 最大同時接続数の制御にはセマフォを使うのではなく、その数 (20 なら
libcurlをiPhoneアプリからつかう方法 (ついでにopensslも) - KAYAC engineers' blog
iPhoneアプリから自己証明書の https サーバーに接続しようと思った場合、どうするのがいいでしょう。 普通に Objective-C の NSURLConnection を使用すると証明書の検証エラーになってしまいます。少し検索すると非公開APIを使用して回避する方法もあるようです。(NSURLConnection +setAllowsAnyHTTPSCertificate:forHost) Cocoa アプリだとこの方法で良いかもしれません。しかし iPhone では審査ではじかれること請け合いです。と言うかはじかれました。 そこで libcurl をつかって C の世界で HTTP 接続をしてしまえばリジェクトしようがないだろうということでやってみたときの記録です。 前提 以後の作業はすべて iPhone SDK をインストールした OSX 上で行っています。 openssl
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.func09.com/wordpress/archives/1226
IDEA * IDEA
YAPC::Asia 2010 / Studying HTTP with Perl
studyinghttp.net - このウェブサイトは販売用です！ - 解説 仕様書 利用 技術 である 手法 日本語訳 プログラミング リソースおよび情報