8. スパムフィルタ • 「スパムっぽい単語」があると スパム確率up • フィルタは言語ごとに必要 無料 バイアグラ オオアリクイ : free mastercard account : 日本語用フィルタ 英語用フィルタ ※ベイジアンフィルタなどを利用したモデルの場合。 他にルールベース(ホワイト&ブラックリスト)のアプローチなどもあります 12 9. 言語判定とは • 入力テキストの記述言語を推定 – Time fries like arrow → 英語 – Buona sera! → イタリア語 • 多くの言語処理での前提タスク – 言語モデルは言語ごとに構築 – 検索、分類、抽出、翻訳、…… • 言語判定を間違えると、後も全部こける! 13 10. ニューステキストに対する言語判定 (後述する langdetect による評価) af ar bg bn cs da de el en
![どの言語でつぶやかれたのか、機械が知る方法](https://cdn-ak-scissors.b.st-hatena.com/image/square/8fa171c578945c2ac050281af1dcffdd69f20bae/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Flanguagedetectionwebdbf2013-131128000835-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)