Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
RubyでWebスクレイピングするためのサンプル - t-taira blog
サンプルで使ったライブラリ gem install nokogiri gem install mechanize Nokogiri HTMLを操作するためのライブラリ tenderlove/nokogiri · GitHub Mechanize Webサイトへ自動でアクセスするためのライブラリ tenderlove/mechanize · GitHub HTMLを操作するサンプル 型番で検索して、価格コムの最安値を出力するサンプル # coding: utf-8 require 'rubygems' require 'nokogiri' require 'open-uri' model_number = 'L32-V09' page = open("http://kakaku.com/search_results/#{model_number}/") html = Nokogiri::HT
はてなブログ | 無料ブログを作成しよう
あまりに暑いので工場扇を買ってきた 6月とは思えない猛暑に遭遇し、7月を待たずして早くも熱中症（疑）と睡眠不足に陥った2025年の夏。 去年までは8月頃から水風呂に飛び込んでビール飲みながら野球を見るという自宅避暑をやっていたけれど、今年は既に家中がもうどうにもならない不快感で包まれている。 …
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Nokogiriでスクレイピング - Qiita
RubyのMechanizeを解説 for 1.0.0 - きたももんががきたん。
