オープンソース Web 検索エンジン Apache Nutch の概要 - 木曜不足
Apache Nutch はオープンソースの Web 検索エンジン。 今年になってバージョン 1.0 が出て、Apache の TLP(トップレベルプロジェクト) になった。現在最新は v1.2。 Apache Nutch http://nutch.apache.org/ 乱暴に言うと、「検索エンジン Lucene ＋全文検索 Solr ＋ Web クローラー＋スコアリング(Page Rank)＋分散実行の仕組み」が Nutch。 ちなみに検索インデックスを作成＆格納するための mapper / reducer および分散ファイルシステムが Nutch から spin out したのが話題の Hadoop。 の割りには知名度が低い気がするのは、Web 検索エンジンを作りたいという要求が少ないせい？(サイト内全文検索なら Solr でいい) プラグインの組み合わせで virtical sea
java.net: Introduction to Nutch, Part 1: Crawling
Nutch is an open source Java implementation of a search engine. It provides all of the tools you need to run your own search engine. But why would anyone want to run their own search engine? After all, there's always Google. There are at least three reasons. Transparency. Nutch is open source, so anyone can see how the ranking algorithms work. With commercial search engines, the precise det
java.net: Introduction to Nutch, Part 2: Searching
Introduction to Nutch, Part 2: Searching by Tom White 02/16/2006 In part one of this two part series on Nutch, the open-source Java search engine, we looked at how to crawl websites. Recall that the Nutch crawler system produces three key data structures: The WebDB containing the web graph of pages and links. A set of segments containing the raw data retrieved from the Web by the fetc
Nutch と Solr の連携 その2 〜 Nutch のインデックスを Solr で再インデックスする 〜 - Solr, Python, MacBook Air in Shinagawa Seaside
前回 Nutch の Lucene 形式のインデックスを Solr から覗いてみました。 中身を覗いてみることはできたものの以下の課題もでました。 host や site、contentといったデータが表示されない。 日本語で検索できない。 この辺の対応には Nutch のデータを使って、別途 Solr でインデキシングし直して新しいインデックスを作った方が良さそうです。 Nutch にはこのために solrindex という命令が用意されています。 手順としては Solr の環境を作る solrindex を実行する という手順になります。 前提条件 以下の説明の前提条件です。 Solr のマルチコアを使うことを前提としています。 マルチコアについてはこちらを参考にしてください。 [Solr] マルチコア (Multi core) ってすっげー便利で実は簡単 クロール済みの Nutch
Nutch と Solr の連携 その1 〜 Nutch のインデックスを Solr からのぞいてみる 〜 - Solr, Python, MacBook Air in Shinagawa Seaside
Nutch はクロールしたデータの管理に Lucene 形式 のインデックスを使っています。 このため Lucene を使って Nutch のインデックスにアクセスしたり、Solr を使って検索することができます。 ちなみに3者の関係を整理するとこんな感じです。 Nutch : Webクローラ。内部データの管理に Lucene を使っている Lucene : 全文検索システムを実現するためのJavaのライブラリ Solr : Luceneを使って実装された全文検索システム Java のコーディングが得意な方は Lucene を使ってインデックスの中見ることができますが、そうじゃないボクのような人は Solr を使って見る方が楽かもしれません。 ここではSolr から Nutch の Lucene 形式のインデックスをのぞいてみる方法について書いてみます。 Solrのインストールがまだな方は
Lucene - PukiWiki
FrontPage Luceneとは? † Jakarta Luceneは完全にJavaで書かれたハイパフォーマンスな全文検索エンジンのライブラリです。Luceneは全文検索が必要なアプリケーションに適しています。特にクロスプラットフォーム性を重視する場合は有用です。Javaの検索エンジンとしては、Namazu on Java2等もありますが、Namazu on Java2はライセンスがGPLで公開されており、(GPLが悪いという訳ではありませんが...)Namazu on Java2をアプリケーションに組み込むと開発したアプリケーションにもGPLが適用されます。LuceneはApache Software Licence 2.0で配布されており、アプリケーションに組み込んでもソースコードを公開する必要はありません(もちろん公開しても構いません)。LuceneはEclipseのヘルプの検索
Senで形態素解析しつつNutchでインデクス作成 - 早朝の楽書き
Irodori » JapaneseAnalyzer plugin (Nutch) がすごく参考になります。 src/plugin/analysis-jp/src/java/org/apache/nutch/analysis/jp/JapaneseAnalyzer.java package org.apache.nutch.analysis.jp; // JDK imports import java.io.Reader; // Lucene imports import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; // Nutch imports import org.apache.nutch.analysis.NutchAnalyzer; /** * A sim
Irodori » JapaneseAnalyzer plugin (Nutch)
Here I describe my attempt to integrate Sen-based JapaneseAnalyzer into Nutch for Japanese text indexing and search. I created a plugin to handle Japanese text as an extension of NutchAnalyzer. By default, NutchDocumentAnalyzer is used. It treats all kanji as sigrams that results in incorrect text indexing. For instance, instead of splitting text “今日はいい天気です” into [今日][は][いい][天気][です], it splits t
クロール中に Excel, Word, PowerPoint, PDF から文章を自動的に抽出する方法 - Solr, Python, MacBook Air in Shinagawa Seaside
Nutch では Jakarta POI を用いたパーザが標準で用意されているため、簡単な設定だけでクロール中に発見された Excel、Word、PowerPoint、PDFのファイル中から文章を抽出してインデキシングできるようになります。 日本語の文章も抽出できるので、Solrに取り込むことで日本語での検索もできるようになります。 設定は以下の2つです。 plugin のインクルード conf/nutch-site.xmlを編集 urlfilter の修正 conf/crawl-urlfilter.txtを編集 plugin のインクルード conf/nutch-site.xmlを編集してExcel、Word、PowerPoint、PDFのパーザプラグインを追加します。 nutch-site.xmlはインストール時はファイルはあるものの中身は空っぽ同然なので デフォルトのままの場合は、n
[Solr] Nutchでサイトクロール
やってみた。 Nutchはウェブスパイダーとしてのクロール機能を提供している。内部に分散ファイルシステムたるHadoopを持っていのだが、今回はこれは使わない方法(のようだ)。 - - - - 1. Nutchを<a href="http://hudson.zones.apache.org/hudson/job/Nutch-trunk/">ダウンロード</a>し、解凍する。 tar xzf apache-nutch-1.0.tar.gz 2. Solrの設定を行う Nutchの中にはschema.xmlなどSolrを連携して使うためのサンプルの設定ファイルが含まれています。 a. schema.xmlの配置 apache-nutch-1.0/conf to directory apache-solr-1.3.0/example/solr/conf b. “content”フィールドの設定変
nutch 0.9でクロールした結果をクロールした日付順にソートしたい - WEBシステム開発日記
nutch 0.9のbin/nutchコマンドやorg.apache.nutch.crawl.Crawlクラスのmainメソッド実行によって、作成されたDBでは、tstampフィールドに対してインデクスが付けられない。 デフォルト設定のクロールのtstampフィールド インデクスなし トーカナイズなし フィールドでソート処理を行うためには、インデクスありでトーカナイズがされない状態である必要がある。 tstampフィールドでソートを行うために必要な状態 インデクスあり トーカナイズなし tstampフィールドの状態は、Lukeからも確認できる。 デフォルトの状態でクロールを実行してもインデクスがつかないtstampフィールドにインデックスを付けるには、 org.apache.nutch.indexer.basic.BasicIndexingFilter を修正する必要がある。 BasicI
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://mail-archives.apache.org/mod_mbox/lucene-nutch-dev/200606.mbox/%3Cc822c4ce0606070158s6c16abc7yea846a546e735cf4@mail.gmail.com%3E
Cloudflare