HTMLスクレイピング in Scala その1 - noire722 の日記
スクレイピングして遊ぶために、文字コードを判別してHTMLソースを取得するコードをScalaで書いてみました。 実装 HtmlScraping.scala import scala.io.Source import scala.util.matching.Regex object Html{ def getSource(url: String): List[String] = { val src = Source.fromURL(url, "ISO-8859-1").getLines.toList var charset: String = null val regex = new Regex("""charset[ ]*=[ ]*[0-9a-z|\-|_]+""") for(line <- src){ val lower = line.toLowerCase if(lower.conta
Ruby でスクレイピングするなら scrAPI の parser_options とか WWW::Mechanize の Pageオブジェクト とかに気を付けろ！！ - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年07月10日03:15 Ruby Ruby でスクレイピングするなら scrAPI の parser_options とか WWW::Mechanize の Pageオブジェクト とかに気を付けろ！！ タイトルの通りですが、Ruby でスクレイピングするときって、scaAPI とか WWW::Mechanize を利用するんではないかと思います。hpricot とかも使うかも知れませんが・・。ってことで、自分で実際に使ってみたときに困ったことなどをまとめてみました〜。 scrAPI - スクレイピングのお供 Ruby で scrAPI を使うときにはこのように process に取得したい要素をセレクタで指定したり、取得する値（"@src" とか :text とか）を指定したりします。以下のようにすると、imgタグのsrc部分を抽出して data[:urls] に、aタグのテキス
rubyでスクレイピングまとめ
札幌のフリーランサーまいむぞうのブログ。Android関連、コンピュータビジョン、IoT、ロボティクスあたりをやっています。 スクレイピングって、あれね。 HTMLなどから特定条件で文字を取得するやつね。 昔はなんらかの言語のHTTPライブラリと正規表現を使ってガリガリ書くのが多かったんだけど、最近はスクレイピング用のアプリケーションとか、専用ライブラリも出てきたんで、ちょっとまとめてみました。 条件は プログラムを書く必要があるならRubyにする プログラミングが必要ないなら、それが一番(データを取り出して終わり) 特定ワードで検索して、検索結果からデータ取り出しってのを繰り返す もちろん日本語を扱う で、候補に挙がったのは以下の4つでした。 ■web-harvest Javaアプリ。 プログラミングの必要が無い。その代わりにXMLで条件を指定する。 本家 MOONGIFTでの紹介記事
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
