形態素周辺確率を用いた確率的単語分割コーパスの構築とその応用

形態素周辺確率を用いた 確率的単語分割コーパスの構築とその応用 岡野原 大輔 † 工藤 拓 ‡ 森 信介 § † 東京大学情報理工学系研究科コンピュータ科学専攻 ‡Google Japan § 日本 IBM 東京基礎研究所 hillbig@is.s.u-tokyo.ac.jp, taku@google.com, mori@fw.ipsj.or.jp 1 概要 本稿では、入力テキストの基本単位への分割情報を曖 昧性を保ったままコンパクトに保持し、オンライン時に 適切な処理単位を求める手法を提案する．情報検索や文 書分類などにおいては、与えられたテキストを単語など 適切な処理単位に分割した上で扱う場合が多い．この時、 どのような分割が最適かはタスク依存であり決定できな いため、曖昧性を保ったまま分割情報を保持することが 望まれる．本稿では CRF を用いた形態素解析結果の周 辺確率を用いて各

[denken]

[]

[morningriver]

単語（形態素）境界を確率的にして全文検索に応用 しかも何この豪華メンバー