高頻度な事象は人間が見れば良い、技術者や研究者は低頻度な事象を扱うべき - nokunoの日記

タイトルの言葉のようなことがNLP blogに書かれていました。natural language processing blog: Seeding, transduction, out-of-sample error and the Microsoft approach...適当な翻訳MicrosoftでインターンをしていたときにEric Brillが言っていたことを思い出す。ウェブ検索の仕事をしていたときだったが、彼は最も頻度の高い1000個のクエリはほとんど気にしないというのだ。Microsoftはいつでもこれらのクエリを人手でうまく処理できるだけのアノテータを雇うことができる。それに実際に行われていることだ。だから我々が気にするべきなのは大部分の低頻度なクエリで、人間のアノテータが処理しきれないほどの種類があるからだ。これは今回と同じ状況だ。我々は新しい言語のために1000個のシード