決定モデルの分類精度をKaggleの過去NLPコンペで検証する

Jigsaw 2025ではJevが高スコア Jigsaw Agile Community Rules Classificationは、オンライン上のコメントが指定されたコミュニティルールに違反しているかを判定するタスクです。6種類のルールごとのAUCを平均した総合スコアでは、今回比較した手法の中でJevが最も高い数値を記録しました。 例えば「医療アドバイスの禁止」というルールにおいて、D1は「爪をかむと血圧や不安が下がる」といった健康上の助言よりも、医療とは無関係な侮辱文の方を「違反の可能性が高い」と判定してしまうケースが見られました。文章自体の不快さと指定ルールへの違反性を区別するのは非常に難しいんですね。一方、Jevはこの2つを正しく順位付けできていました。 なお、コンペの銅メダル獲得の最低ラインに対しては、Jev・D1ともに下回っています。 Learning Agency Labでは

[misshiki]

Jev・D1を追加学習なしでKaggleのNLP3課題で検証。両者とも軽量な古典モデルを上回ったが銅メダル水準には未達。有害性判定ではD1が誤検出を抑え、Jevが見逃しを減らす傾向。自動削除より人手確認前の絞り込み向けと考察。