タグ

Googleとcrawlerに関するlamichのブックマーク (4)

  • GmlMgr - 産廃置き場

  • GM_Lite改造版 – ぷちのいず

    2009/03/02 追記 waste様が GM_Lite を便利にするアドオン(?)のGmlMgr を作成されました。GmlMgr の方が、私のdown_imgs.pl よりも高機能で新しい Google Maps のバージョンへ対応も早いと思いますので、GmlMgr を使用されることをおすすめします! 概要 GoogleMapsのダウンロード制限を回避した down_imgs.pl を配布しています。 tera様の実用工房で配布されている GM_Lite-0.1.4 は GoogleMaps の地図画像をダウンロードし、ローカルで閲覧することができる素晴らしいソフトです。拙作 qgmap を作るきっかけにもなりました。 しかし、GoogleMaps では wget 等のダウンローダを使用した地図画像のダウンロードを制限する変更を行っており、デフォルトの GM_Lite ではダウンロード

  • 実用工房 » Blog Archive » GM_Lite 0.1.4公開

    さてさて、今回はGM_Lite 0.1.4の公開です。 今回の更新の目玉は、Windows環境での地図のダウンロードの高速化です。ここのところbucchiさまが大変有難いことにGM_Lite互換のZaurusネイティブアプリになりますqgmapを開発され、またHB1さまが高度なGPSとの連携機能を持つZegaにGM_Liteの地図の表示に対応して下さるというとんでもない事態になっており、ここでダウンローダが不出来なばかりにお二人にご迷惑をおかけするわけにはイカン!ということで、以前から問題になっておりました、地図のダウンロードが遅いことと環境依存でエラーが発生する問題に対処致しました。 従来版と高速版でおおまかなベンチマークを取ってみたところ、以下のようになりました。 “全世界”のダウンロードにかかる時間 従来版:17分53秒 高速版:3分50秒 “全世界”がダウンロード済みの時のスキップ

  • Common Crawl - Open Repository of Web Crawl Data

    Common Crawl maintains a free, open repository of web crawl data that can be used by anyone.Common Crawl is a 501(c)(3) non–profit founded in 2007. ‍ We make wholesale extraction, transformation and analysis of open web data accessible to researchers.Overview Over 250 billion pages spanning 15 years.Free and open corpus since 2007.Cited in over 10,000 research papers.3–5 billion new pages added ea

    lamich
    lamich 2012/03/12
    オープンなWebのクローラ #fb
  • 1