マルチラベル分類モデル/多クラス分類モデルの閾値を最適な値に調整してみよう - ENGINEERING BLOG ドコモ開発者ブログ

こんにちは、ドコモの何と言います。 業務では自然言語処理に関する研究に取り組んでいます。 本記事は、ドコモアドベントカレンダー8日目の記事になります。 本記事では、BERTを使ったマルチラベル分類の閾値の調整に関する技術について紹介します。 マルチラベル分類とは、一つの文章に対して、複数のラベルを付与するような問題のことを指します。 一般的なマルチラベル分類では、まず、ラベル付けを行いたい文章を分類モデルに入力し、それぞれのラベルに対する確率値を計算します。 次に、モデルで計算した各ラベルの確率値に対して、あらかじめ決めておいた閾値を超えた場合にそのラベルを付与し、下回った場合には付与しないという2値分類を全てのラベルで行います。 この方法は、多くの場合でうまくいくのですが、次のような条件が重なるとうまくいきません。 分類したいラベルの中に、互いに近い意味のラベルがいくつか存在する場合 近