「ゎナ=∪も行くょ〜」も修正 —— KDDI研、「くだけた表現」の自動判読技術を開発 | RBB TODAY

KDDI研究所は3日、従来の言語解析技術では正しく解析することが困難だった、ホームページやブログ上で使われる口語やギャル文字などの「くだけた表現」を、正規な表現に自動修正する技術を開発したことを発表した。 Web上の文章には誹謗・中傷や犯罪予告などの違法・有害な書き込みも含まれており、これらの表現を言語解析によって自動的に検出するフィルタリング技術に注目が集まっている。しかしWeb上の文書には口語やギャル文字、伏せ字などが多数含まれている上に、日々新しい言葉も現れており、従来の言語解析技術では正しく解析することが困難だった。 今回開発された技術では、「ゎナ=∪も行くょ〜」「auの携帯ってヵゎいいね」「オ●マ大統領来日」といった文章であっても、システムが自動修正し、「わたしも行くよ」「auの携帯ってかわいいね」「オバマ大統領来日」と解析可能な文章に変換する。解析不能なくだけた表現を検出し、そ

[kat0usi]

修正候補となる表現を新聞文書などの正規な表現を多く含む文書から自動的に検索して取得。適切な表現を選ぶために、編集距離や統計的言語モデルによる確からしさを利用。

[kenjiro_n]

この技術で検索よけが無効化されればある意味いい時代になるのかな？

[mamoruk]

どうやって編集距離を定義したのかが気になる