はてなブックマーク

アノテーション一致度 (inter-annotator agreement) を測りたいけど、κ が使えない場合どうするか。想定しているタスクは以下の通り。テキストからいくつか chunk を抽出し、それぞれにラベルを付与する。chunk の大きさはバラバラだし、テキストの一部しか被覆しない。 てっきり FAQ になっているかと思ったが見当たらない。少し調べた結果、以下の手順を採用した。 アノテーション結果を集約したデータを 1 セット用意 一致度を測りたいサンプルを対象に、1 とは独立にアノテート 集約データを普通の正解、独立にアノテートした結果をシステム出力扱いして、再現率、適合率、F 値等の通常の評価尺度を使う タスクの設定によっては Krippendorff’s α も使えるかもしれない。もしより良い方法を知っていたら教えてほしい。 以下、ここに至った経緯をメモ書き。 ざっと調べた