クローラーの一部をC言語化してみた
実行速度は40倍、実使用メモリーは約14/1。 コマンドラインで実行する限り、C言語版の圧倒的勝利です(当たり前だけど)。 本来なら速度面については、クロールして結果を取得している時間がそれなりの速度を占める筈なので、実運用では速度ではここまでは差が付かないでしょうが、それでも多数のクローラーを走らせるこのシステムでは、塵も積もればということで、目に見える形の速度の向上をもたらしてくれています。 勿論開発に必要な行数等はperlに比べて増えるので、開発効率は落ちるというデメリットが生じますが、このシステムにおいてはそのメリットがデメリットを上回ると言えるでしょう。 中々ウェブシステムの開発をしていると、コンパイル系言語に触れる機会は無いですが、常駐型のmod_perlなどとは違い、オフラインで実行する限り、C言語での作成はメモリー使用量と速度の面でメリットはまだまだ有意な差をもたらす値を叩
Yahoo! Search Blog: Yahoo! Search Support for X-Robots-Tag Directive to Simplify Webmaster's Control and Weather Update
Yahoo! Search Support for X-Robots-Tag Directive to Simplify Webmaster's Control and Weather Update Today we're announcing support for tags that give webmasters even more flexibility over which pages and documents are crawled and indexed by Yahoo! Search. Specifically, we're extending our support of page level exclusion tags -- NOINDEX, NOARCHIVE, NOSNIPPET, NOFOLLOW -- to provide additional contr
Webstemmer（クローラーツール）
日本語サイトでは、具体的な性能は測定していませんが、 以下のようなサイトで正しく動くことがわかっています: アサヒ・コム Nikkei NET Mainichi INTERACTIVE Yomiuri On-line IT media 東京新聞 日刊スポーツ 信濃毎日新聞 livedoor ニュース 使いかた Webstemmer をつかったテキスト抽出は以下のようなステップになります: まず、特定のニュースサイトから種となる HTML ページを多数取得する。 取得したページのレイアウトを学習する。 別の日に、同一のニュースサイトから新しい HTML ページを取得する。 2. で学習した結果をつかって、新しい HTML ページから本文を抽出する。 1. および 2. のステップが必要なのは最初の 1回だけです。 ひとたびサイトのレイアウトを学習してしまえば、 あとはレイアウトが大きく変更さ
zuzara.com » ブログの記事本文を抽出するスクリプトをつくってみた
ブログ検索において、RSSは必ずしも記事全文を配信していないので、クローラーが記事のURLにアクセスし記事の本文を取得するケースが多いようです。 「gooブログ検索」「ブログレンジャー」開発者が語るブログ検索技術Yahoo!検索 スタッフブログ Yahoo!ブログ検索より細部改善のお知らせ上記の記事ではどちらも本文を抽出してくる、とあっさり書かれていますが100%に近い精度を実現するとなるとそう簡単ではないはず。 ちょっと調べてみたら以下のような取り組みが論文として読めました。英語圏の文献は、検索語が悪かったのかいまいち。「blog entry extract body text etc…」 NRI 技術創発 ブログ記事の自動分類により消費者意識の側面を捉える試み（PDF）なんでもRSS! HTML文書からのRSS Feed 自動生成 南野朋之 奥村学：人工知能学会研究会資料 SIG-SW
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Health Insurance Online classifieds fashion trends Best Penny Stocks Free Credit Report Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy|Do Not Sell or Share My Personal Information
PHPで書かれたWEBクローラー用クラス:phpspot開発日誌
SourceForge.net: PHPCrawl PHPCrawl is a class written in PHP for crawling/spidering websites. It supports filters, limiters, cookie-handling and other features. By overriding a special method of the class users can decide what should happen to the data the webcrawler finds. SourceForgeにて、PHPで書かれたクローラー用のクラスが公開されています。 クロール後、getReportメソッドで、 見つけたリンク数 見つけたファイル数 受信バイト数 のような値を取得することが出来る模様。 クラスリファレンスはここにあ
ウェブ情報のデータベース化に関する技術動向
大学院論文輪講資料 平成 12 年 11 月 24 日 ウェブ情報のデータベース化に関する技術動向 Current Technologies of Web Databases 電子情報工学専攻 喜連川研究室 M1 合田 和生 (06381) Abstract Recently there exist various applications using web pages such as a text search engine, a related page service, a topic-based and categorization service, and so on. These applications are essential to us in the Internet. The web data is extremetly large, grows up
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ohsaki.pdf (application/pdf オブジェクト)
http://qdbm.sourceforge.net/mikio/rbbs.cgi?id=RA11407755341449341208