はてなブックマーク - スクレイピングはもっと簡単にならなければいけない

スクレイピングはもっと簡単にならなければいけない - bits and bytes

labs.gmo.jp

タグ : スクレイピング scraping web xml programming dapper HTML pipes 正規表現 rss

コンピュータ・IT 136 users

スクレイピングをやったことがあるひとならばわかると思うけど、スクレイピングはとてもつまらない作業だ。 HTMLの中から抜き出したい部分を見つけて、その周辺にある特徴的な部分に着目して正規表現を書いたりして抜き出す。あるいはHTMLからDOMを生成して特定のクラスがついているエレメントを抜き出したりする。HTMLをXHTMLに整形、変換してXPathで抜き出す方法もある。どの方法もやることは単純で簡単なことだけれど、極めてめんどくさい。そういうものだと思って数年間過ごしてきたけれど、去年の夏に出てきた D... > このページを見る

最終更新時間: 2007年02月26日01時25分

▼ブログで紹介する

みんなのブックマーク人気（0）新着

ghostbass
気をつけないと逮捕されるぞ 2010/09/22
inamenai スクレイピング
webサイト作るときはスクレイピングしやすい（されやすい）ように作るべきって主張するんだけどあんまり受け入れてもらえない。 2010/01/16
djmargarine
正規表現を書けないひとがスクレイプできるようにするためのGUIフロントエンド 2009/02/06
toton scraping
"Dapperが教えてくれたことは、スクレイピングなんて、欲しいところをクリックするだけのしょーもない作業だということ。" 2008/10/05
webmarksjp dapper, web, scraping, programming, webサービス14, webサービス, xml
スクレイピング 2008/07/13
michael-unltd scraping, pipes, tips
html to XML : htree 2008/07/05
nilab scraping
スクレイピングはもっと簡単にならなければいけない - bits and bytes : Dapper: The Data Mapper 2008/03/07
irasally *programming
Selenium IDE 2008/01/15
sotarok 読み物
dapper 2007/11/10
HISAMATSU スクレイピング, research
スクレイピング用のツールを作るのも研究にはならないけど、なんとか卒論にはできるかな。 2007/08/19
SriVidyut scraping, php, programming
programming 2007/08/15
tsutomura webサービス
タグを取り出すスクレイピングツール 2007/08/11
mpresso web
Dapperの話 2007/03/12
nshash web, webservice, xml
コレすごい簡単。やっぱこういう地味な作業はGUIに限るね。 2007/02/27
leva web, webservice, xml
コレすごい簡単。やっぱこういう地味な作業はGUIに限るね。 2007/02/27
odz
dapper について 2007/02/26