単語と文字の話 - Preferred Networks Research & Development

4月からPFIで働いてます。海野です。 今日は単語の話をします。読み物的な話なので軽く読んでください。 テキストデータなどの自然文を機械処理するときには、まず最初に単語に分割するということをよく行います。一般的にはMeCabやChasenといった形態素解析エンジンに投げて行います。形態素と単語の区別という話もあるのですが、ここでは大雑把に「連続した文字列の単位」くらいの意味で話します。 検索という文脈ですと形態素インデックスという言葉がありますが、これは検索の最小単位を文字単位ではなくて形態素の単位にするということです。例えば「東京都」は「東京」「都」に分かれるため、「京都」というクエリに対して見つかるのを防ぐなど、精度を上げる効果があります。反面、深刻な検索漏れを引き起こす可能性があるため嫌われることが多いです。こうした漏れは検索に限らず、テキストマイニングなどの文脈でも問題となることが

[sucrose]

単語ってなんだろう？

[kicchomu3]

係り受けで構文解析やっぱあるんだー

[fabled]

ちょっと難しいけど面白いな。後でちゃんと読む

[TYK]

自然言語処理

[unknownmelodies]

面白そう

[junkcollector]

単語という単位だとどこまでいってもLatin Alphabetを仮定した違和感が抜けないものなあ

[iroirogimon]

あとでじっくり読む。

[hiroyuki1983]

単語単位と文字単位の間で、柔軟な処理をすることはできないか。今回紹介する論文は、この間を狙った研究です。

[SasakiTakahiro]

検索という文脈で最適な言語処理とは何か。

[fgta9]

ふむ。

[faw]

日本語　係り受け　文字単位

[chezou]

characterベースで係り受けを考えることで、単語と言う概念は要らない？という話

[railute]

焼けぼっくいに火が付いている身としては楽しくて仕方ない。自分も係り受け中心の解析が是だと学生の頃考えていたなぁ。(10年前）

[airj12]

東京都と登山家の例が異常にわかり易い

[georgew]

形態素解析という処理は、言語学的な文の解析という文脈で生まれた処理... 検索という技術はどちらかと言えば文字列処理の延長で生まれた技術... この両者の境界に我々の求めている最適な何かが隠れているのかも...

[ippai_attena]

文字解析。

[imo758]

常々思うんだが、そういう勝手な解析機能はスイッチでオフできるようにしてもらいたい。非日常用語を検索したくても勝手にザクザクに自然言語前提で切り刻まれてわけのわからない結果を返されるとうんざりする。

[kuenishi]

やっぱりコレがすごいよなぁ=> http://j.mp/lYqHhU (PDF)

[mamoruk]

こんな論文あったのですね〜 id:emikoy さんが NAIST にいらしたとき、単語の内部構造の係り受けを求めるのに似たような手法を使っていたと思います。