「モバゲー」に独自開発の検索エンジン ポータル化加速
ディー・エヌ・エーは10月10日、携帯電話向けゲーム＆SNSサイト「モバゲータウン」にサイト検索サービスを導入した。7月から一部会員向けに試験的に導入してきたが、オープンβ版として全会員に開放する。「ポータルサイトに向けた重要な機能を実装できた」として今後、精度向上などに取り組んでいく。 一般の携帯向けサイト検索のほか、Wikipedia、掲示板、ブログ、Q＆Aサイト、画像、動画──の各検索機能を備えた。トップページから「お役立ち」→ニュースページ内の検索機能をたどれば利用できる。 画像・動画検索を除き、同社が自社開発したエンジンを利用している。携帯電話をメインにネットを利用するユーザーならではの行動特性や利便性など、モバゲータウンの運営で蓄積してきたノウハウを反映させたという。自社開発することで、ニーズや利用動向に応じたチューニングを随時、迅速に行えるメリットもあるとしている。 「mob
moba-crawler
* DeNA では、モバゲータウン 内の検索サービスで利用するため、クローリング (プログラムによるウェブページの自動収集) を行っています。 * クロールは現在 202.238.103.126, 202.213.221.97 というグローバル IP アドレスより行っています。携帯向けサービスの場合、各携帯キャリアが公表している IP アドレスからの接続のみ許可していることもあるかと思いますが、上記 IP アドレスからの接続も許可していただけると、検索結果でサイトをご紹介できる可能性が高まります。ご協力いただければ幸いです。 * User-Agent は DoCoMo/2.0 N902iS(c100;TB;W24H12)(compatible; moba-crawler; http://crawler.dena.jp/) となっています。 以前は moba-crawler
Why content is critical to ad targeting - Google AdSense Help
You may already know that AdSense works by crawling your web pages for content, then delivering ads based on that content. This means that if your content is limited, our crawler may have difficulty identifying the information on the page. As a result, you may see ads that are not directly relevant to your page. Thin content (and why quality content matters) | Sustainable Monetized Websites Here's
Web::Scraper ? SlideShare
The document discusses practical web scraping using the Web::Scraper module in Perl. It provides an example of scraping the current UTC time from a website using regular expressions, then refactors it to use Web::Scraper for a more robust and maintainable approach. Key advantages of Web::Scraper include using CSS selectors and XPath to be less fragile, and proper handling of HTML encoding.Read les
Open Source Crawlers in Java
Heritrix is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project. WebSPHINX ( Website-Specific Processors for HTML INformation eXtraction) is a Java class library and interactive development environment for Web crawlers that browse and process Web pages automatically.
るびま
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、日本 Ruby の会の有志による Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0058 号 バックナンバー Rubyist Magazine 0058 号 RubyKaigi 2018 直前特集号 Rubyist Magazine 0057 号 RubyKaigi 2017 直前特集号 Rubyist Magazine 0056 号 Rubyist Magazine 0055 号 Rubyist Magazine 0054 号 東京 Ruby 会議 11 直
Web crawler - Wikipedia
This article is about the internet bot. For the search engine, see WebCrawler. "Web spider" redirects here. Not to be confused with Spider web. "Spiderbot" redirects here. For the video game, see Arac (video game). Architecture of a Web crawler A Web crawler, sometimes called a spider or spiderbot and often shortened to crawler, is an Internet bot that systematically browses the World Wide Web and
Hpricot - babie, you're my home
Hpricot を試してるんだけど、リンクにポート番号を含んでいるとき、うまくマッチしない。 irb(main):057:0> body = %Q|<a href="http://example.com:3000">example</a>| => "<a href=\"http://example.com:3000\">example</a>" irb(main):058:0> doc = Hpricot(body) => #<Hpricot::Doc {elem <a href="http://example.com:3000"> "example" </a>}> rb(main):060:0> doc/"a[@href^='http://example.com']" => #<Hpricot::Elements[{elem <a href="http://example.com:300
るびま
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、日本 Ruby の会の有志による Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0058 号 バックナンバー Rubyist Magazine 0058 号 RubyKaigi 2018 直前特集号 Rubyist Magazine 0057 号 RubyKaigi 2017 直前特集号 Rubyist Magazine 0056 号 Rubyist Magazine 0055 号 Rubyist Magazine 0054 号 東京 Ruby 会議 11 直
RubyForge: Rcrawl: Project Info
Rcrawl is a web crawler written in ruby. Development Status: 3 - Alpha Environment: Console (Text Based) Intended Audience: Developers, System Administrators License: MIT/X Consortium License Natural Language: English Operating System: OS Independent Programming Language: Ruby Topic: Indexing/SearchRegistered: 2006-09-20 00:49 Activity Percentile: 0% View project activity statistics.
The Portable Site Information Project
The Portable Site Information Project "To effect an unhampered advance, strike their vacuities." - Sun Tzu's Art of War, translated by Ralph D. Sawyer The Portable Site Information Project developes psilib, a library enabling use of the Portable Site Information (PSI) format for interchanging storage structure and data between content management platforms. The current version of psilib is develope
Nutch
Nutch is a highly extensible, highly scalable, matured, production-ready Web crawler which enables fine grained configuration and accomodates a wide variety of data acquisition tasks. Scalable Relying on Apache Hadoop™ data structures, Nutch is great for batch processing large data volumes but can also be tailored to smaller jobs. Pluggable Out of the box Nutch offer powerful plugins i.e., parsing
Bulknews - RSS Syndication
2004.10.19 AV Watch, BB Watch を追加しました。 2004.04.05 Nikkei Net, ZAKZAK のリニューアルに対応しました。 2003.12.19 12/21 00:00-08:00 サービスが停止します。 2003.12.16 DB 障害が発生しましたが、復旧しました。 2003.12.01 SportsNavi を追加しました。 2003.10.08 go.cgi / view.cgi のリダイレクト等、リクエストした URL と異なるものとなってしまう不具合を修正しました。 2003.08.04 ブックモールPCの書籍新刊、uefa.comを追加しました。 2003.06.12 CNET Japanを追加しました。 2003.04.13 RSS Feed リストのXML(OPML) 出力を用意しました。 2003.04.01 Bulknew
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ライブドアブログ｜無料で豊富な機能が充実
一撃必殺日記(2007-05)
https://www.gemjack.com/gems/rcrawl-0.5.1/classes/Rcrawl/Crawler.html%23M000006
Rcrawler
日本IBM
http://www.akimoto-fishing.info/crawler/wiki/index.php?cmd=read&page=%C6%FC%B5%AD%2F2007-03-29&word=rcrawl%23h2_content_1_0
CodeProject: A Simple Crawler Using C# Sockets. Free source code and programming help