タイ語の単語切りテストデータにおけるクリーニングの重要性 - Qiita

一昨日の記事で触れたThodsaporn Chay-intr, Hidetaka Kamigaito, Manabu Okumura『Character-Based Thai Word Segmentation with Multiple Attentions』の筆頭著者から、タイ語の単語切りに用いたデータをいただくことができた。だが、いただいたテストデータの中に、妙な単語切りが紛れ込んでいて、閉口してしまった。たとえば「อาจจะ」が「อาจจ」と「ะ」にブッタ切られている。その点を尋ねてみたところ、どうやら元にしたBEST2010が、すでに間違っているらしい。ただ、私(安岡孝一)の手元からは、オリジナルのBEST2010がイマイチうまくダウンロードできないので、ミラー版のBEST2010をチェックしてみた。 $ test -d corpus || git clone --depth=1