Scrapy | A Fast and Powerful Scraping and Web Crawling Framework
pip install scrapy cat > myspider.py <<EOF import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['https://www.zyte.com/blog/'] def parse(self, response): for title in response.css('.oxy-post-title'): yield {'title': title.css('::text').get()} for next_page in response.css('a.next'): yield response.follow(next_page, self.parse)EOF scrapy runspider myspider.py
The Return of Gearman - スコトプリゴニエフスク通信
Eric Day氏による興味深いスライド。Gearman and libdrizzle SlidesThe Return of Gearman(PDF)C版のGearmanライブラリとそれを利用したMySQLのUDF, PHP拡張について非常によくまとまっている。特に、UDFを利用したクローラーの例が参考になる。MySQLに(id, url, content)のようなテーブルを作る URLを挿入する INSERTのトリガーでGearmanのバックグラウンドジョブを呼び出す バックグラウンドジョブが該当URLの内容を取得して、contentをUPDATEWhat's Next?として"Persistent queues and replication very soon"って書いてあるけどホントかなー？
DSAS開発者の部屋:ケータイやクローラの判別などに使えるmod_cidr_lookupを公開しました
mod_cidr_lookupというApacheモジュールを公開しました。 http://lab.klab.org/wiki/Mod_cidr_lookup mod_cidr_lookupは、アクセスしてきたクライアントのIPアドレスが、指定したCIDRブロック群のいずれかにマッチするかどうかを判別するApacheモジュールです。 Apache 2.0と2.2系に対応しています。 マッチした結果は、環境変数 (X_CLIENT_TYPE) とHTTPリクエストヘッダ (X-Client-Type) にセットするので、Apache自身とバックエンドのWebアプリの両方で同じ情報を参照することができます。 このモジュールを使うメリット 簡単にクライアントの種類を知ることができる 判別処理はモジュールが行ってくれるので、のちほどお見せるように、Webアプリやhttpd.confでは環境変数やリク
携帯クローラのIPアドレス - Archiva
Make a note of it: Web tech, montaineering, and so on. Note: この記事は、3年以上前に書かれています。Webの進化は速い！情報の正確性は自己責任で判断してください。 携帯サイト開発用。携帯サイトではIPによる閲覧制限を実施するケースが多いですが、キャリアのIPだけだと検索エンジンのクローラまで拒否してしまいます。ちゃんとクローリングしてもらうにはクローラのIPも許可リストに入れる必要がある ...ということで、調べたリストを投下してみる。 現時点でGoogleのIPは非公開なので、この部分はざっくり推測。公開されているIPアドレスは6月中旬から順次稼動していくそうなので、もう暫くは併用が必要かな。 #Google モバイル検索（2008 年 6 月中旬以降順次） allow from 72.14.199.0/25 allow fr
ケータイキャリア・クローラIPアドレス - ke-tai.org
お知らせ † 2008/06/12 ケータイキャリア・クローラIPアドレスのページを作成しました。 リストの保守のご協力をお願いします。 3キャリアのPCサイトビューワーやフルブラウザのIPアドレスは除外しています。 2010/04/20 本ページのSSL版アドレスはこちらです。 ↑ このページについて † このページは、ケータイキャリアや、クローラのIPアドレス情報を共有するためのものです。 携帯端末のみからのアクセス（PCをはじく）を行うための設定に利用します。 WillcomやMVNOなど、ケータイに関係ありそうなものは全て入れてあります。 必要に応じてコピペしたり、コメントアウトしてお使いください。 ※ご注意※ こちらのページにあるIPアドレス情報は、不正なアクセスを防ぐ目的、特にかんたんログインのセキュリティを保持するためのものではありません。 内容を良く理解した上でお使いくださ
YAPC::Asia 2008の資料公開します - mixi engineer blog
開発部・システム運用グループの長野です。5月15日・16日に東工大大岡山キャンパスで開催されたPerlのカンファレンス、YAPC::Asia 2008に参加してきました。2日目にはセッションの時間を２つ頂いて、発表をしてきたのでその資料を公開します。 ■memcached in mixi [pdf] memcachedはmixiのシステムでも重要なアプリケーションの１つになります。発表ではmemcachedの基本から、弊社でのmemcachedの事例、そして分散方法の改善、TokyoTyrantの活用事例について説明させて頂きました。発表の最後時間が足りなくなり説明できなかったスライドも含まれていますのでご覧下さい。 memcachedについては、研究開発グループのtmaesakaによる記事が、またTokyoTyrantの活用事例については、こちらの記事にもありますので参考にして頂けたら幸
mixi Engineers’ Blog » 新RSS Crawlerの裏側
このブログでは初めましての長野雅広(kazeburo)です。mixi開発部・運用グループでアプリケーションの運用を担当しています。 12月12日よりmixiのRSSのCrawlerが改善され、外部ブログの反映が今までと比べ格段にはやくなっているのに気付かれた方も多いかと思います。この改善されたRSS Crawlerの裏側について書きたいと思います 以前のCrawlerについて 以前のCrawlerは cronからbrokerと呼ばれるプログラムを起動 brokerはmember DBから全件、idをincrementしながら取得し、外部ブログが設定されていればcrawlerを起動(fork) crawlerはRSSを取得しDBに格納して終了 このような設計になっていました。 この設計の問題として、member DBを全件走査するという無駄な動作と、一件一件crawlerを起動するためオーバ
YappoLogs: GunghoっていうWebクロウラーたんの件
GunghoっていうWebクロウラーたんの件 なんか男前そうなクロウラーたんを発見したお 資料はhttp://www.slideshare.net/lestrrat/gungho-swarmage-pocomdba/を見るべし。 ちなみに、これ書くのに使ったGunghoはVersion 0.09001 のCPANの。 概要 GunghoはPlaggerっぽいwebクロウラーたんです。なのでGunghoの名前空間以下にあるモジュールとかを個別に使おうとしたら大変です。 Gunghoのアーキテクチャにそった一本道な動作をさせるのがいいはず。 設定はConfig::Any使ってるので、色んな形式のを使えます。 Providerにより収集URLを取得し、EngineがHTTPでコンテンツを取得し、Handlerで取得したコンテンツを処理します。 Provider,Engine,Handlerは、そ
gungho
NAME gungho - An Extensible, High-Performance Web Crawler Framework SYNOPSIS gungho -c config.yml gungho -v gungho -h DESCRIPTION gungho is the command line tool to run the Gungho web crawler framework. OPTIONS --config | -c Specify the config file to read from. By default, gungho attempts to read a config file named config.yml in the current directory --version | -v Print out the version and exit
クローラーも分散型コンピューティング·Grub MOONGIFT
Open Tech Press | 米Wikia：分散型ウェブ巡回ツールを買収、オープンソース化より。 分散型コンピューティングという手法は面白い。古くはSETI@HOMEやUD Agent等があった。コンピュータが高性能化し、台数が急増している中、利用度はむしろ低くなっている可能性は否めない。 そして、Web巡回を行うクローラーもまた、分散型コンピューティングに名乗りを上げた。 今回紹介するオープンソース・ソフトウェアはGrub、分散型コンピューティングを利用したWebクローラーだ。尚、オープンソース化するとの事だが、現状配布されているバージョンではライセンスはLooksmartのものになっているのでご注意いただきたい。 GrubはWindows、Linux向けに提供されており、インストールするとタスクトレイに常駐する。そして、PCが利用されていない時にクローリングを行うソフトウェアだ。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コラム | オープンソースCMSならOpenCms
https://labs.cybozu.co.jp/blog/kazuho/archives/2008/04/q4m_crawler.php
jugyo.org
Google Code Archive - Long-term storage for Google Code Project Hosting.
Firefox automation using Spider
Log in with Atlassian account