適当な仕事をしている注釈者を発見せよ！ - kisa12012の日記

NIPS2011の論文を紹介していくコーナー． 今回対象とする論文は，Ranking annotators for crowdsourced labeling tasks． 概要 本論文は，標本のラベル付を複数人にしてもらう時に，標本をきちんと見ず，適当な注釈を行なっている人を見付け出すためのスコアリングを提案しています． Mechanical Turk等のクラウドソーシングで今後必要になりそうなテーマですね． 本論文では，このような適当な注釈者をスパマーと呼び，スパマーを効率的に見つけ出すためのランキング手法を提案しています． 手法 2クラスの場合と多クラスの場合について議論していますが，今回は2クラスの場合を簡単に紹介します． スパマーはコイン投げと同じようにラベルを選んでいるため，P(注釈者のラベル|真のラベル)が0.5になります．[α,β] 一方で，仕事が出来る注釈者は上の確率が1