[NLP] 日本語WikipediaからSolr用の類義語辞書を自動作成する - 株式会社ロンウイット
日本語Wikipediaなどの「辞書型コーパス」からLucene/Solr用の類義語辞書を自動作成するシステムを開発しましたので、簡単にご紹介します。 参考資料（SlideShare） 辞書型コーパスからの類義語知識の自動獲得（SlideShare） Lucene/Solrと類義語検索 Lucene/SolrではSynonymFilterを使って類義語検索を簡単に実現することができます。たとえば次のような内容のsynonyms.txtを用意し： 自動車損害賠償責任保険, 自賠責保険 Solrのschema.xmlファイルに次のようなフィールド型を定義すれば： <fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100"> <analyzer> <tokenizer class="solr.Japane
![[NLP] 日本語WikipediaからSolr用の類義語辞書を自動作成する - 株式会社ロンウイット](https://cdn-ak-scissors.b.st-hatena.com/image/square/05aaa2c0891efcc9c0687adc729c2094a968ac35/height=288;version=1;width=512/http%3A%2F%2Fwww.rondhuit.com%2Fwordpress%2Fwp-content%2Fuploads%2F09b26830239f52887ae9193ddee1694e-480x224.png)
Solr 4.0 の主な機能
4. Solr 4.0 の主要機能 プラガブルなシミラリティクラス FST対応 Codecプラグイン NRT PivotFacet pseudo-join SolrCloud ・3.6は3.x系の最後 ・4.0は年内、alphaは7/3リリース 5. Similarity いろんなランキングアルゴリズムに差し替え可能 参考 Lucene 4.0のスコア計算 http://www.slideshare.net/KojiSekiguchi/similarity-functions-in-lucene- 40-12652624 ・Okapi BM25 Model ・Language Models ・Divergence from Randomness Models ・Information-based Models 6. Finite State Automa
Japanese Linguistics in Lucene and Solr
Presented by Christian Moen, Founder and CEO Atilika Inc - See conference video - http://www.lucidimagination.com/devzone/events/conferences/lucene-revolution-2012 This talk gives an introduction to searching Japanese text and an overview of the new Japanese search features available out-of-the-box in Lucene and Solr. Atilika developed a new Japanese morphological analyzer (Kuromoji) in 2010 when
Mapping CharFilterFactoryの使い方 - エメラルドアオキロック
Solrには文字列解析の為の仕組みがたくさん用意されています。またそれらは柔軟に組み合わせやパラメータによるカスタマイズが可能で、色んな用途に対応できるようになっています。それらは個々のカスタマイズ可能なコンポーネントとして、下記のURLで説明されています。 http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters コンポーネントによっては、上記ページの他にjavadocを見てもあまり詳しく説明がなかったり、パラメータにも何を設定できるのかまでは細かく書かれていません。そこで勉強がてら、これらのコンポーネントの使い方を一つずつ紹介していきます。また、使い方だけではなく、ソースコードから内部の詳細についても一緒に見ていこうと思っています。 （全体的な仕組みの詳細はSolr本を参照してください。機会があれば書いてみるつもりです。）
Solrの日本語対応 -新しく追加されたトークナイザ・トークンフィルタ- 株式会社ロンウイット
先日、Lucene/Solrのbranch_3x(3.6)とtrunk(4.0)にコミットされた日本語向けのトークナイザ・トークンフィルタをご紹介します。 LuceneのJIRAのチケット LUCENE-3305 にて、日本語形態素解析器Kuromojiが導入されました。 これにより、日本語ドキュメントに対して形態素解析に基づく単語分割が可能になります。 従来、Lucene/Solrで日本語対応をする場合は、lucene-gosenやSenを使用する方法などをとってきましたが、今回の対応であらかじめLucene/Solrに組み込まれたものを使用するということが可能になります。 また一方で、LUCENE-2906にて、CJK文字に関するトークンフィルタも追加されました。 本記事では、これらのトークナイザ・トークンフィルタに関して、2012/2/23時点のソースに基づいて調査したものを解説いた
AnalyzersTokenizersTokenFilters - Solr - Apache Software Foundation
This page exists for the Solr Community to share Tips, Tricks, and Advice about Analyzers, Tokenizers and Filters. Reference material previously located on this page has been migrated to the Official Solr Reference Guide. If you need help, please consult the Reference Guide for the version of Solr you are using. The sections below will point to corresponding sections of the Reference Guide for eac
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
Apache Solr Archives
蓝狮科技在线省心注册共创未来正规平台
IBM Developer
独自QueryParserの作成 | 関口宏司のLuceneブログ