curl とxpath でお手軽スクレイピング - それマグで！

この記事は [クローラー／Webスクレイピング Advent Calendar 2015] の一つとして書きました。 公開遅いけど。ごめんね この記事の目標 curl コマンドの使い方を覚えつつ、スクレイピングをやっていきます。 この記事で紹介すること curl curl + grep curl -s curl + md5sum curl + md5sum + mail curl + cookie curl + cookie + xpath curl + xpath + xpath シェルスクリプト実行 用意するもの curl xpath libxml grep ruby nokogiri cookie pry 知っておくと便利な知識 css2 css3 xpath jq js への対応 基本方針は「JSに対応しない」 だって、リクエストヘッダ見てたらわかるもん。 curl コマンドでWE

[yarumato]

“毎分クローラーを走らせたくらいで攻撃だとメール送ってくる企業もある　　curlでcookieの扱い”

[Andrion]

shellでスクレイピングするときの情報。綺麗にまとまってる。同じようなやり方してる。

[aquarickn]

curl -s -L http://j.mp/1YC5mSM | xmllint --html --xpath "//h3/a/@href" -

[ginzi009]

curl とxpath でお手軽スクレイピング

[berlysia]

libxmlって閉じタグ省略可能とか判別してくれるのかな……

[t2y-1979]

おもしろい