untitled
尾内研クローラ勉強会 第一回レジュメ written by Shinsuke Ihara 本日のお品書き 1.導入 ・クローラってなに？ -クローラとは -世の中にはどんなクローラがあるか ・なにが難しいの？ -もっとも単純なクローラ -もっとも単純なクローラではどこがだめか ・さらにその先にある問題 -google のクローラ -ハードウェアと OS -Web の広大さ、そしてその「構造」について ・クローラに求められる振る舞いとは？ -大前提 ∼クローラは慎み深くなければならないということ -robots.txt を尊重する -必要なものだけを適切な頻度で取得する ・クローラを作ったら？ -名前を付けよう -User-Agent を設定しよう -Web 上にページを作ろう -クローラを登録しよう -なぜこんなことをするの？ ・クローラについてより深く学ぶには 2.JSpide
[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)
■ [ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize 今日は、RubyでWebサイトを解析するときに強い味方となるライブラリ、HpricotとWWW::Mechanizeを紹介します。 どちらも非常に強力なので、覚えておいて損はないよ！ 以下ではまずHpricotでHTMLを解析・編集する方法について解説します。 次に、「はてなダイアリーの自動更新」を例にWWW::Mechanizeの使い方を解説します。 Hpricot HpricotはHTMLを解析するためのライブラリです。 例えば「あるページのリンクだけを全部抜き出したい」と思ったとき、どうしますか？scrAPIを使う？でもscrAPIはやっぱり ちょっと使いたいだけなのにパーザ(Scrape)用のクラスを定義するのが面倒なんだよね！ Hpricotなら、たったこれだけで
![[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)](https://cdn-ak-scissors.b.st-hatena.com/image/square/b0dd2a08b2c0fff30d70543ed7fa340ebfeb5697/height=288;version=1;width=512/https%3A%2F%2Froute477.net%2Fd%2Fassets%2Fogimage.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://qdbm.sourceforge.net/mikio/rbbs.cgi?id=RA11407755341449341208
http://seobench.com/search-engine-crawler-simulator/index.php
