[B! xpath] yassのブックマーク

curl とxpath でお手軽スクレイピング - それマグで！

この記事は [クローラー／Webスクレイピング Advent Calendar 2015] の一つとして書きました。公開遅いけど。ごめんねこの記事の目標 curl コマンドの使い方を覚えつつ、スクレイピングをやっていきます。この記事で紹介すること curl curl + grep curl -s curl + md5sum curl + md5sum + mail curl + cookie curl + cookie + xpath curl + xpath + xpath シェルスクリプト実行用意するもの curl xpath libxml grep ruby nokogiri cookie pry 知っておくと便利な知識 css2 css3 xpath jq js への対応基本方針は「JSに対応しない」だって、リクエストヘッダ見てたらわかるもん。 curl コマンドでWE

yass 2016/07/11

リンク

XMLのWebAPIを爆速で使いこなせるフレームワーク

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo!デベロッパーネットワークの中野(@Hiraku)です。先日、爆速JSONPを使うと、JSONPのWebAPIを簡単に使いこなせることを示しました。とは言っても、JSONPに対応していないWebAPIも数多くあります。ニュースAPI、知恵袋API…。これらは現時点ではXMLしか対応しておらず、爆速JSONPではブログパーツ化できません。 …いや、「ブログパーツ化できませんじゃなくて、とっととJSONPに対応しろよ」とお叱りを受けるところなんですが、実はXMLなら何でもJSONPに変換することのできる「YQL」というサービスがあり、これを使うことでカバーする方法があるのです！ YQLの説明は後にして、まずはデモをご覧くだ

yass 2012/09/24

リンク

【インフォシーク】Infoseek ：楽天が運営するポータルサイト

日頃より楽天のサービスをご利用いただきましてありがとうございます。サービスをご利用いただいておりますところ大変申し訳ございませんが、現在、緊急メンテナンスを行わせていただいております。お客様には、緊急のメンテナンスにより、ご迷惑をおかけしており、誠に申し訳ございません。メンテナンスが終了次第、サービスを復旧いたしますので、今しばらくお待ちいただけますよう、お願い申し上げます。

yass 2008/03/14

リンク

http://japan.internet.com/developer/20070403/27.html

yass 2007/04/05

リンク

CSSのセレクタをXPathに変換する - nazokingのブログ

Warning! 2008/5/22追記：このエントリは情報が不十分だったり間違いが含まれてたりするので、下記URLのページを参考にするようにしてください↓ http://piro.sakura.ne.jp/latest/bl osxom/mozilla/xul/2007-09-13_selector-to-xpath.htm CSS3あたりをXPath1.0あたりに変換する表 CSS XPath .class//*[@class="class"]*1 .class//*[contains(concat(" ",@class," ")," class ")]*2 tag//tag #id//*[@id="id"] tag.class#id//tag[@class="class"][@id="id"] .class.class2//*[contains(concat(" ",@class," "