自然言語処理等のフィルタリングのために、日本語エロ単語(不適切な単語)を軽く集めました。(200単語くらい) - Qiita

概要 (2020/08/18 22:53 追記.まだ少しですがSexualだけじゃなく、差別的/攻撃的表現も集め始めました) SNSしかり何でも良いのですが、Wikipediaとかニュースみたいな書き言葉ではなく、話し言葉ベースのデータベースを扱う場合、不適切な単語が混ざってくる可能性が非常に高くなります。 これらの単語が出力結果に混ざってしまったりすると、ちょっと発表しにくい…みたいなことは多々あると思います。 わたしもそうなったのですが、意外とこの手の不適切表現辞書みたいなのが見つからなかったので、軽く集めてみました。 現在は所謂エロ系の単語しかありませんが、MeCabなり何なりで分かち書きして、これらの単語が入ってるか入ってないか判定するだけでもかなりマシになります。 収集の際に気をつけたのは、健全な意味と不適切な意味両方を含む単語は入れないようにしたことです。 要は、偽陽性エロ単語