wget で HEADリクエスト (groundwalker.com)
wget で HEAD リクエストを投げるには % wget --spider http://groundwalker.com/ とする。wget は サーバーレスポンスに Location ヘッダ が含まれる場合、Location ヘッダの値である URLへ HEAD リクエストをリダイレクトしてくれるのが楽だ。 上のリクエスト時のHTTPログ(from ngrep) #### T xxx.xxx.xxx.xxx:52414 -> 219.94.128.92:80 [AP] HEAD / HTTP/1.0..User-Agent: Wget/1.10.2..Accept: */*..Host: groundwalker.com..Connection: Ke ep-Alive.... # T 219.94.128.92:80 -> xxx.xxx.xxx.xxx:52414 [AP] H
perl-mongers.org - このウェブサイトは販売用です！ - perl mongers リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
ところてん - アットウィキ
「日記/2008年09月23日/pixivにログインして画像を保存する方法」は管理者からの閲覧のみ許可しています。 ログイン ログイン
Web::Scraper を XML::LibXML で爆速にする hack! - woremacxの日記
id:miyagawa さんの Web::Scraper で、HTML::TreeBuilder::XPath の代わりに XML::LibXML を使うととても幸せになれそうなので実験してます。XML::LibXML に手を出す前に IRC で「tinyxpath とか htmlcxx とか使って xpath 周りを高速にしたい」とかボヤいてことがありました。そのときに、id:vkgtaro さんや id:tomyhero さんに激しく libxml や XML::LibXML をオススメされました。libxml をオススメしてもらえてなかったら、確実に路頭に迷ってました。以下が、変更したファイルと差分です。http://pub.woremacx.com/Web-Scraper/Scraper.pmhttp://pub.woremacx.com/Web-Scraper/Web-Scrap
Shibuya Perl Mongers Tech Talks #8 いってきました: blog.bulknews.net
Shibuya Perl Mongers Tech Talks #8 いってきました ちょうど日本に帰ってきた時期と台湾から gugod が来日するのがかぶっていることで実現した Shibuya.pm Tech Talk #8 にいってきました。 YAPC::EU でやった Web::Scraper のトークを修正したものを20分で。今回は前半をとばし気味にやったのでなんとか時間に間に合ったかんじです。スライドはいつものように slideshare にあげておきました。 会場の質問でもでましたが、process() などの DSL を使わないAPIを求めているニーズは結構ありそうだなと思いました。この辺はバックエンドのAPIをOOで書き直して、その上に scrapi とか scRubyt のラッパーをかけていくというのがいいかもしれません。 他のトークでは gugod の JavaScri
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本語版 : IBM Bluemix
