Elasticsearchで日本語を同義語展開する
全文検索における同義語展開の必要性 全文検索では、基本的に文字列のマッチにより検索を行います。しかし我々が言葉を扱うときには、同じものを違う表現で指し示すことが多々あります。 例えば「独占禁止法」と呼ばれる法律があります。これは経済憲法とも言われる大変重要な法律なのですが、日本では「昭和二十二年法律第五十四号（私的独占の禁止及び公正取引の確保に関する法律）」という法律がそれに該当し、独占禁止法という名前にはなっていません。これを皆、「独占禁止法」や「独禁法」といった代替可能な別表現（同義語）で呼んでいるわけです。 同法律には法令用語で言うところの「題名」は付されておらず、頭書の名称は制定時の公布文から引用したいわゆる「件名」である。独占禁止法ないし独禁法と略称されることも多い。 もし「独禁法」で検索して当該法律がヒットしなければ、ユーザーとしては不満足でしょう。検索システムのクオリティを向
URI normalization - Wikipedia
Types of URI normalization. URI normalization is the process by which URIs are modified and standardized in a consistent manner. The goal of the normalization process is to transform a URI into a normalized URI so it is possible to determine if two syntactically different URIs may be equivalent. Search engines employ URI normalization in order to correctly rank pages that may be found with multipl
Unicode正規化
正しい並び替えでは、表示は(A)のままですが、間違った並び替えでは、正規結合クラスが互いに等しいMACRONとACUTEを並び替えたため、表示は(B)のように、eの上のアクセント記号の位置が入れ替わってしまいます。 正規分解・互換分解 ある文字列の正規分解 (Canonical Decomposition) を得るには、まず、それぞれの文字を正規マッピングによって再帰的に、可能な限り、分解します。すなわち、1回分解した後に現れた文字がなおも分解可能であればさらに分解します。分解マッピングがその文字自身である場合は、分解不可能なので、そのままです。 しかし、分解しただけでは必ずしも正しい結果が得られません。つまり、結合文字の順序の一意性を保証するため、分解後の文字列に対して正規順序アルゴリズムを適用しなければなりません。このように、正規マッピングによる再帰的分解と、正規順序アルゴリズムによ
WASI'S BLOG: ICU4Jで半角全角変換
今回はちょっとJavaの備忘録。 Javaで半角全角を変換する処理を書くのは結構めんどいです。 以前、全角英数を半角英数にするという処理を処理を書くのがいやで、ICU4Jなるライブラリで実装したことがありました。 このライブラリのNormalizer#normalize()なるメソッドをつかって String str = "ＡＢＣＤＥＦＧ１２３４５アイウエオABC123ｱｲｳｴｵ"; String rtn = Normalizer.normalize(str, Normalizer.NFKC); System.out.println(rtn); ってすると ABCDEFG12345アイウエオABC123アイウエオ 全角英数は半角英数に、半角カナは全角カナに。みたいなかんじになります。 で、今回仕事で全ての半角文字を全角文字にしたいという場面に出くわしたもので、またICU4Jで素
Java SE 6 じゃじゃ馬ならし Unicode の正規化
Unicode にはいろいろと特徴があるのですが、その中の 1 つに正規化というものがあります。 これを理解するにはまず互換文字と、正規等価と互換等価を理解しなくてはいけないわけですが、私もよく分かっていません ^^;; Impress の Internet Watch の連載記事「文字の海、ビットの舟」の特別編 24, 25 や貞廣氏の「使いこなそうユニコード」の「Unicode 正規化とは」などをご覧ください。 あっ、原典にあたりたい人には Unicode Standard Annex #15: Unicode Normalization Forms をご覧ください。 で、簡単にいえば「が」を「か」+「゛」としてあつかえるということらしいです。この場合は本当に等しいかどうかといわれれば等しくないわけですね。 で、文字としてちゃんと等しい場合を正規等価、前述の例のような場合を互換等価とい
Java6新機能のお勉強（４） - SEの行き着くところ…
ResouceBundleの制御追加（java.util.ResourceBundle.Control）ResouceBundleの内部クラスとしてResourceBundle.Controlが追加され、読み込みの優先順位などが指定出来るようになった。以下はsample.properties, sample_ja.propertiesファイルを配置した例。 #sample.propertiesファイル msg.sample=This is default properties. #sample_ja.propertiesファイル msg.sample=This is ja_properties. //ロケール指定無しでどのファイルがロードされるのか調べる ResourceBundle r1 = ResourceBundle.getBundle("example.sample"); Syst
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NLP Preprocessing Functions
GitHub - paularmstrong/normalizr: Normalizes nested JSON according to a schema
GitHub - smola/galimatias: galimatias is a URL parsing and normalization library written in Java.
GitHub - sentric/url-normalization: A java library for URL normalization (or URL canonicalization)
GitHub - snowplow-referer-parser/referer-parser: Library for extracting marketing attribution data from referrer URLs
Dedupe, Merge, and Purge: the Art of Normalization Video from Strata NYC 2011 - Factual Blog
Java6でのUnicodeの正規化｜社内NEET宣言