キーワード検索システムでの表記ゆれ対策6つ【python】 - Qiita概要 キーワードマッチングを行うときの表記ゆれ対策として自分がよくやることをまとめました。 環境 macOS Catalina 10.15.4 python 3.8.0 想定するシステム 任意の単語や日本語を入力として、検索対象文書から関連しそうなものを抽出するシステムを想定します。基本的なやり方はキーワードマッチングで、入力と検索対象文書からそれぞれキーワードを抽出し、一致するものがあるか探します。ただしユーザは自由に入力できるので、表記ゆれを吸収した上で、キーワードマッチングをする必要があります。想定される表記ゆれの要因としては、下記が考えられます。 全角、半角の違い ひらがな、カタカナ、漢字、ローマ字の表記ゆれ 活用形の違い １，２文字程度の打ち間違い、変換ミス これらを吸収できるような頑健な検索システムを作ることを目指します。 1. neologdnによる正規化 mecab-ipa
