複数人のタグ付けの一致度を判定する - asaokitan のメモ23:46勉強中のメモで，いい加減な書き方をしまくっていると思いますが，それでも公開した方が有益な気がするので公開します，お許し下さい。コーパスに人手でタグ付けしてもらうとき，そのタグ付けがどのくらい信頼できるのかが問題になります。この場合，タグ付けを複数人にお願いしてその一致度を見て，全然一致していなければ，それはタグ付け基準（か，タグ付け要員）に問題がある，ということになります。問題はその「一致度」をどうやって測るかです。そこで，Artstein and Poesio (to appear)*1 に基づいて，一致度を測るやり方についてまとめてみました。タグ付け要員が２人のとき単純な一致率を使うAさんとBさんが同じタグを付けた項目の割合をもって一致度とする。項目 i について，i でAさんとBさんのタグ付けが一致してるとき ，そうでないとき としてこれは単純でいいけど，タグ付けが偶然一致
Tag Hierarchyをつくったよ
