Rubyで複数並行なクローラをすっきりと書けるライブラリ「cosmicrawler」をgemとして公開した - koeだめ 過去アーカイブ[〜2013-12-14]
http://rubygems.org/gems/cosmicrawler ソースは、https://github.com/bash0C7/cosmicrawler gem install cosmicrawlerするとか、Gemfileにgem 'cosmicrawler'と書いてbundle installするとかした後、 require 'cosmicrawler' Cosmicrawler.http_crawl(%w(http://example.com/1 http://example.com/2)) {|request| get = request.get puts get.response if get.response_header.status == 200 } という感じにブロックを渡すだけで、デフォルトでは８並行でババッとクロールすることができます。 もしもっと平行数
![Rubyで複数並行なクローラをすっきりと書けるライブラリ「cosmicrawler」をgemとして公開した - koeだめ 過去アーカイブ[〜2013-12-14]](https://cdn-ak-scissors.b.st-hatena.com/image/square/d81bedcb3ba405f608e549e2b685f27cb730ae8a/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117126976353052%2F17680117126976357176%2F1550818887)
ウェブサイトのメンテナンス時やサービス停止時にやるべきこと・やってはいけないこと
[対象: 中〜上級] サイトのメンテナンスなどの理由で一時的にサービスを停止しユーザーのアクセスを遮断したいときがあります。 このケースでやるべきこととやっていはいけないことを、GoogleのPierre Far(ピエール・ファー)氏がGoogle+で説明しました。 米連邦政府議会で提案されているある法案に対して抗議する人たちへの援助の目的も背景にあるようですが、関わりのない僕たちにとっても非常に有益な内容なので紹介します。 以下で説明することは、「メンテナンス中」のような通知ページを元々のページと置き換えて訪問者に見せる状況にも当てはまります。 1. サイトの一部であってもサイト全体であっても、停止するURLはすべて503のHTTPステータスコードを返す。 次の2つの点において役に立つ。 通知ページが本当のコンテンツではないことをGoogleに伝えインデックスされない。 すべてのページで
jsoup Java HTML Parser, with best of DOM, CSS, and jquery
jsoup: Java HTML Parser jsoup is a Java library that simplifies working with real-world HTML and XML. It offers an easy-to-use API for URL fetching, data parsing, extraction, and manipulation using DOM API methods, CSS, and xpath selectors. jsoup implements the WHATWG HTML5 specification, and parses HTML to the same DOM as modern browsers. scrape and parse HTML from a URL, file, or string find and
�����ΰ渶 - ���⸦�漼�������ٶ��� �쥸����
��������http://blog.windy.ac/archives/onailab_crawler_study_meeting_part1.pdf ��������http://blog.windy.ac/archives/onailab_crawler_study_meeting_part2.pdf �軰����http://blog.windy.ac/archives/onailab_crawler_study_meeting_part3.pdf ���Ͳ���http://blog.windy.ac/archives/onailab_crawler_study_meeting_part4.pdf ������http://blog.windy.ac/archives/onailab_crawler_study_meeting_part5.pdf �� �
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Integrity, Integrity Plus and Pro for Mac
