Sphider - a php spider and search engine php+MySQLで出来たサーチエンジン。 静的なページだけではなく、動的なページもインデックス出来ます。 どうもこのスクリプト、Namazuのようにローカルファイルを検索するのではなくリモートのファイルを読み込んでインデックス化するようです。 <a><frame>などのタグを検索してスクリプト自体がクロールしていくイメージです。 リダイレクトやrobots.txtも読み込んでくれます。更にdoc,pdfなどのファイルもサポートしています。 日本語が使えるかどうかは試していませんが、なかなか素晴らしいソフトに思えます。 スクリプトはphpで書かれているため、解析をしてみるだけでも面白そう。