サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
WBC 侍ジャパン
rekken.hatenablog.com
アノテーション一致度 (inter-annotator agreement) を測りたいけど、κ が使えない場合どうするか。想定しているタスクは以下の通り。テキストからいくつか chunk を抽出し、それぞれにラベルを付与する。chunk の大きさはバラバラだし、テキストの一部しか被覆しない。 てっきり FAQ になっているかと思ったが見当たらない。少し調べた結果、以下の手順を採用した。 アノテーション結果を集約したデータを 1 セット用意 一致度を測りたいサンプルを対象に、1 とは独立にアノテート 集約データを普通の正解、独立にアノテートした結果をシステム出力扱いして、再現率、適合率、F 値等の通常の評価尺度を使う タスクの設定によっては Krippendorff’s α も使えるかもしれない。もしより良い方法を知っていたら教えてほしい。 以下、ここに至った経緯をメモ書き。 ざっと調べた
このページを最初にブックマークしてみませんか?
『murawaki の雑記』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く