PHPで書かれたWEBクローラー用クラス:phpspot開発日誌

SourceForge.net: PHPCrawl PHPCrawl is a class written in PHP for crawling/spidering websites. It supports filters, limiters, cookie-handling and other features. By overriding a special method of the class users can decide what should happen to the data the webcrawler finds. SourceForgeにて、PHPで書かれたクローラー用のクラスが公開されています。 クロール後、getReportメソッドで、 見つけたリンク数 見つけたファイル数 受信バイト数 のような値を取得することが出来る模様。 クラスリファレンスはここにあ

[kulamochi]

参考に。

[mainyaa]

あとで試すか。

[bunchan98]

使うなと言われると余計に使いたくなるワナではないか。。

[hiromark]

PHPで書かれたクローラー用のクラス。

[lockcole]

PHPのクローラクラス。Spidering Hacksとかでこの分野に興味あったんだけど，PHPでないと他のアプリと連携できなくてイマイチ取りかかれなかった。これでなんか遊べるかも。

[atomicmap]

PHP だけで書かれているので遅そう。てっきりextensionを使っているのかと思った。PHP がマルチスレッドのプログラムを書けるようになればいいのに。