はてなブックマーク - txqz bkmk

ブックマーク / クローラ (6)

Twitter の半径数クリック以内の情報収集 - IT戦記 58 users
ちょっと現実頭皮的に自己満足的プログラムを書きたくなったので Twitter のクローラーを書いてみた。C++ にしては、割とすっきり書けて満足。使ったライブラリsociデータベースライブラリpicojsonjson パーサーboost.asioネットワークライブラリboost.date_ti... 続きを読む
- d:id:amachang
- コンピュータ・IT
- yuiseki
  2010/06/04
- amachang
  @cpp_akira 亀レスですがこれですか？懐かしいです＞＜ 2010/06/03
- denken twitter, クローラ
  2009/08/14
- すべて表示
mixi Engineers’ Blog » 新RSS Crawlerの裏側 192 users
このブログでは初めましての長野雅広(kazeburo)です。mixi開発部・運用グループでアプリケーションの運用を担当しています。 12月12日よりmixiのRSSのCrawlerが改善され、外部ブログの反映が今までと比べ格段にはやくなっているのに気付かれた方も多いかと思い... 続きを読む
- alpha.mixi.co.jp
- コンピュータ・IT
- seiryo crawler
  2008/05/22
- pcod mixi
  21万件を2時間で。というか、21万外部ブログしかないのかな？まさか。 2008/05/22
- denken mixi, RSS, クローラ, 参考になる
  2008/05/21
- yokochie mixi, perl, server, web
  crawlerがmod_perlのHandlerということはbrokerがCrawlerサーバに対してHTTPリクエストを送るということであってる？ 2007/12/26
- parkbench crawler, rss, mixi
  2007/12/24
- nkoz
  2007/12/23
- yuiseki
  2007/12/23
- otsune
  2007/12/22
- ogijun
  2007/12/22
- yappo boofy, search
  mod_perlって発想はなかったわ 2007/12/22
- youpy
  2007/12/22
- miyagawa mixi, rss, crawler
  2007/12/22
- TAKESAKO mixi, perl, rss
  kazeburo++ 2007/12/21
- nitoyon perl, mixi, rss
  分かりやすい。cron ではなく POE で常時モニタリングに切り替え。複数プロセス・冗長化に耐える設計。21万件のURLを2時間以内に巡回。 2007/12/21
- すべて表示
JSpider - the Open Source Web Robot 17 users
JSpider is: A highly configurable and customizable Web Spider engine. Developed under the LGPL Open Source license In 100% pure Java You can use it to : Check your site for errors (internal server errors, ...) Outgoing and/or internal link ch... 続きを読む
- j-spider.sourceforge.net
- コンピュータ・IT
- denken Java, クローラ, OSS
  [] 2008/05/12
Team-lablog � 一晩で作れるマイ検索エンジン byつっつー 19 users
ブログリレー第９記者、開発部のつっつーです。 4月で入社2年目になりました。今はサグールテレビの検索チームでいろいろ面白いことをしてます。検索エンジンといえば、Google, Yahoo、そしてラボのサグールなど、いろいろありますが、実は自分だけの検索エン... 続きを読む
- dev.team-lab.com
- コンピュータ・IT
- pcod java
  2008/04/21
- denken nutch, 検索エンジン, クローラ
  2008/04/21
- yokochie search
  2008/04/21
- すべて表示
Nutch: Nutchについて 20 users
Nutchは、オープンソース・ウェブ検索エンジンを実装する初めての試みです。ウェブ検索はインターネット・ナビゲーションのために必用な基本的機能です。ところが現在では、ウェブ検索エンジンの数は減少しています。今日の寡占状態は、すぐに、ほとんど全て... 続きを読む
- lucene.apache.org
- コンピュータ・IT
- yuiseki
  2007/12/11
- denken なっちありがとう, オープンソース, クローラ, 要観察, あとで
  2006/12/25
- すべて表示
使うな→PHPで書かれたWEBクローラー用クラス 74 users
Web屋のネタ帳Ｗｅｂビジネスに必要な「戦略」「システム」「デザイン」の３要素とそれらをまとめる「マネジメント」について現場の実感と独自の観点でお送りするコラム・・・のはずなんですが、要するにＷｅｂがらみのシステム＆デザイン業界に関する小ネタと... 続きを読む
- neta.ywcafe.net
- コンピュータ・IT
- otsune
  2006/03/05
- seiryo PHP
  2006/03/05
- denken PHP, スクリプト, クローラ
  2006/03/04
- fuba ir, crawler, php
  PHPCrawlは "If-Modified-Sinceヘッダなんて投げないしステータスコード304も理解しない" とか。名前がCrawlじゃなければよさそう 2006/03/04
- すべて表示