Nutch
Nutch is a highly extensible, highly scalable, matured, production-ready Web crawler which enables fine grained configuration and accomodates a wide variety of data acquisition tasks. Scalable Relying on Apache Hadoop™ data structures, Nutch is great for batch processing large data volumes but can also be tailored to smaller jobs. Pluggable Out of the box Nutch offer powerful plugins i.e., parsing
Senで形態素解析しつつNutchでインデクス作成 - 早朝の楽書き
Irodori » JapaneseAnalyzer plugin (Nutch) がすごく参考になります。 src/plugin/analysis-jp/src/java/org/apache/nutch/analysis/jp/JapaneseAnalyzer.java package org.apache.nutch.analysis.jp; // JDK imports import java.io.Reader; // Lucene imports import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; // Nutch imports import org.apache.nutch.analysis.NutchAnalyzer; /** * A sim
Irodori » JapaneseAnalyzer plugin (Nutch)
Here I describe my attempt to integrate Sen-based JapaneseAnalyzer into Nutch for Japanese text indexing and search. I created a plugin to handle Japanese text as an extension of NutchAnalyzer. By default, NutchDocumentAnalyzer is used. It treats all kanji as sigrams that results in incorrect text indexing. For instance, instead of splitting text “今日はいい天気です” into [今日][は][いい][天気][です], it splits t
Nutch - PukiWiki
オープンソースな検索エンジン Nutch のインストールから設定まで 本家サイト＋α † 本家サイトはこちら http://www.nutch.org/ 開発者向けページはこちら http://www.nutch.org/docs/en/developers.html このページの前半戦の参考ページはこちら http://www.nutch.org/docs/en/tutorial.html うちのサーバーで動いてるサンプル http://nutch.happy-camper.st/ ６時間おきに新しいページを求めてネット上を徘徊して回ります。 2004/02/18 １日１回に変更。 １回のデータ更新で、３時間ほど費やされたら、１日の半分は巡回してることになる。 結構データもたまってるみたいだしね。 韓国人のLEEさんが立ち上げている、Nutchサポートサイト http://www.nut
Kazuhiro's Weblog: 「Nutch」ですいすい情報収集 (クローリング機能を試す)
「Nutch」でウェブサイトをクローリングする方法を説明します。 クローリングとは、簡単にいえば「ウェブサイトの情報を集めるてくれる仕組み」でしょうか。 (注) nutchを利用するには、unixがお勧めです。 私は、「CentOS 4」をOSとし用いました。 最初はwindowsでがんばろうと試行錯誤しましたが 多くの無駄な時間をつかってしまうという結果に終わりました（ＴＴ）。 「Nutch」利用したクローリングの方法には、 (A)ある特定のネットワーク(intranet)をクローリングする方法 (B)ウェブ全体(whole-web)をクローリングする方法 の2つがあります。 今回は、このblogサイト「http://kazuhiro.ty.land.to/blog/」を起点にして (A)の方法でクローリングする方法を紹介します。 (1)「Nutch」をインストールする 「Nutch」の
[Solr] Nutchでサイトクロール
やってみた。 Nutchはウェブスパイダーとしてのクロール機能を提供している。内部に分散ファイルシステムたるHadoopを持っていのだが、今回はこれは使わない方法(のようだ)。 - - - - 1. Nutchを<a href="http://hudson.zones.apache.org/hudson/job/Nutch-trunk/">ダウンロード</a>し、解凍する。 tar xzf apache-nutch-1.0.tar.gz 2. Solrの設定を行う Nutchの中にはschema.xmlなどSolrを連携して使うためのサンプルの設定ファイルが含まれています。 a. schema.xmlの配置 apache-nutch-1.0/conf to directory apache-solr-1.3.0/example/solr/conf b. “content”フィールドの設定変
Java製オープンソース検索エンジンNutchを試す - Ryoの開発日記 Neo!
NutchとはオープンソースのJava謹製検索エンジンです。今はApache Luceneのサブプロジェクト。というわけで、早速試してみた。 http://lucene.apache.org/nutch/index.html 基本的には↓らへんを参考に。 ※要シェル(Windowsならcygwinとか) unokun研究室: nutchインストール http://www.unokun.net/archives/000016.html unokun研究室: nutchで自サイトをクロール http://www.unokun.net/archives/000323.html Nutch、ナッチ、なっち http://www.airs.co.jp/blojsom/blog/bigmac/Opensource/2004/08/13/6F30214F784C89C1F220A7AF58FAC896.
Nutch検索エンジン - オープンソースな検索エンジン Nutch のインストールから設定まで
Nutch検索エンジン - オープンソースな検索エンジン Nutch のインストールから設定まで 本家サイト＋α インストール 動作環境 ことはじめ コンセプト Webデータベースのブート ページを取ってくる インデックスをつける 検索する 日本語環境の構築 日本語ロケールのためのディレクトリ名修正 日本語ロケール用プロパティファイルを作る jspの出力文字エンコードを utf-8 に統一する リビルド 検索結果のヘッダ部 オープンソースな検索エンジン Nutch のインストールから設定まで 本家サイト＋α 本家サイトはこちら http://www.nutch.org/ 開発者向けページはこちら http://www.nutch.org/docs/en/developers.html このページの前半戦の参考ページはこちら http://www.nutch.org/docs/e
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
KazMuzik Blog
HadoopをWindowsで動かす。(2) - 日記
Overview (Nutch 0.9 API)
コラム | オープンソースCMSならOpenCms
コラム | オープンソースCMSならOpenCms
Software Error