未知語の確率モデルと単語の出現頻度の期待値に基づくテキストからの語彙獲得 | CiNii Research

タイトル別名 ミチゴ ノ カクリツ モデル ト タンゴ ノ シュツゲン ヒンド ノ キタイチ ニ モトヅク テキスト カラ ノ ゴイカクトク Lexical Acquisition from Japanese Text Based On Statistical Unknown Word Model and Expected Word Frequency 自然言語処理 本論文では 未知語の確率モデルと単語の出現頻度の期待値に基づいて日本語テキストから未知語を収集する方法を提案する. 本手法の特徴は 単語を構成する文字の種類ごとに異なる未知語モデルを使用することによりひらがな語や複数の字種から構成される単語を収集できること および 単語の出現頻度の期待値を文字列の単語らしさの尺度とすることにより出現頻度が低い単語を収集できることである. 人手により単語分割された EDRコーパスから無作為に選択

[hiromark]

アブストだけ読んだ。面白そう。