検索での異体字処理
漢字の検索において、異体字・誤字などを考慮するには、以下の３種類の処理を行う必要があります。 (1) 異体字・誤字・通仮字の「マーク付け」 テキスト入力時に異体字や誤字の情報をXMLなどによってマーク付けします。そして検索用インデックスの作成時にマークで示される代替テキストの方をインデックス用のテキストとして置き換えます。 (2) 検索対象テキスト・検索キーの「フィルタリング」 テキスト中の異体字に対し、検索用インデックス作成時および検索キー入力時に、より一般的な漢字に置換したり、異体字選択子などの除去を行います。 (3) 検索時の「複数候補での検索」 異体字とは言えないものの、よく混同される漢字について、複数の候補で検索をします（「云う」と「言う」など）。 異体字フィルタ（Apache Lucene） 以下は、Apache Lucene にて転置インデックスを作成する際に、異体字をフィル
Rubyのある風景 - gaypics
[url=http://labs.divx.com/node/7200]Vanessa Hudgens naked[/url] <a href="http://labs.divx.com/node/7200">Vanessa Hudgens naked</a> [url=http://www.binaryfish.com/forum/vb/member.php?u=1254]Ashley Tisdale nude[/url] <a href="http://www.binaryfish.com/forum/vb/member.php?u=1254">Ashley Tisdale nude</a> [url=http://www.howtotuneaguitar.org/community/member.php?u=1871]Jennifer Aniston naked[/url] <a h
Masahiro Miyazaki, Satoshi Shirai & Satoru Ikehara, Journal of Natural Language Processing, July 7, 1995, Vol.2, No.3, pp.3-25.
三浦文法は、時枝誠記により提唱され三浦つとむにより発展的に継承された言語過程 説に基づく日本語文法である。言語過程説によれば、言語は対象-認識-表現の過程 的構造をもち、対象のあり方が話者の認識を通して表現されている。本論文では、三 浦文法に基づいて体系化した日本語品詞体系および形態素処理用の文法記述形式を提 案し、日本語の形態素処理や構文解析におけるその有効性を論じた。日本語の単語を、 対象の種類とその捉え方に着目し、約400通りの階層化された品詞に分類して、き め細かい品詞体系を作成した。本論文で提案した品詞体系と形態素処理用文法記述形 式に基づき、実際に形態素処埋用の日本語文法を構築した結果によれば、本文法記述 形式により例外的な規則も含めて文法を簡潔に記述できるだけでなく、拡張性の点で も優れていることが分かった。本品詞体系により、三浦の入れ子構造に基づく意味と 整合性の良い日本語
異体字データベース
異体字データベースは、各種文献に記載されている異体字・関連字情報を収集・整理したものです。本データの一部は、情報処理学会 試行標準 IPSJ-TS 0008:2007 「大規模漢字集合の異体字構造」に記載されている異体字情報を整理、バグフィックスしたものです。 全ての異体字関係は、「トリプル」形式で表現されます。これは、「漢字A」、「関係」、「漢字B」の３項目をカンマで区切って表現するものです。関係に対してコメント情報がある場合は、さらに４項目目に記述しています。また、「関係１」,"<rev>",「関係２」のトリプルにより、逆関係も定義します。 ファイル名 注記 UCS 互換漢字 compat-variants.txt
cannadic
cannadic かんな辞書 'cannadic' is a Japanese kana-kanji conversion dictionary for Canna (and Anthy, PRIME). This dictionary has been compiled as a supplement/replacement to the dictionaries distributed with Canna3.5b2 or later. Currently the main dictionary and suffix- and prefix-dictionaries contain over 140000 words. 'cannadic' は canna(と Anthy, PRIME)のための日本語かな漢字変換辞書です。この辞書は Canna3.5b2 以降の環境における、かな漢字変
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sumibi.org ローマ字を日本語に変換できる無料サイト
ICOT無償公開ソフトウェア（３３）形態素辞書
