類似文字列検索ライブラリResemblaを公開しました - LINE ENGINEERING

LINEでClovaの開発をしている上村です。これはLINE Advent Calendar 2017の13日目の記事です。今日は文字列の話をします。 はじめに 与えられた文字列によく似たものを大きな文字列集合から探すということは、古典的でありふれていながら奥が深く難しい問題です。文字列の類似度を正確に見積もるには複雑な計算が必要ですが、膨大な量のコーパスが与えられたときも可能な限り高速に応答を返す必要があります。 検索する文字列の性質をよく把握することも、品質のよい類似文字列検索を行うためには極めて大切です。ここで、今回考える問題の例を見てみます。 この例では、1文字ずつ違いを見つけ出したり、単語単位で見たり、文全体が疑問文や否定文であるかどうかを調べ、それらを総合的に見ることで最終的な判断を下しています。文字だけを見た場合、1文字の違いによって全く違う単語になることは見つけられませんし

[takuya-a]

最初に編集距離の小さい文字列を再現率重視で絞り込んで、後段の分類器につなぎこんでいる（一緒に編集距離も特徴量として渡している）

[knok]

simstringというのもあるけどこれは日本語かつ肯定文・否定文のチェックまでするのだな

[nazoking]

よさそう

[hacosato]

なにこれたのしそう！ いい加減わたし手作業で名寄せしたくないんだけどそれにも使える？ きのせい？？