マルチモーダルモデルによる不正出品の検知 | メルカリエンジニアリングはじめまして、メルカリで機械学習エンジニアとしてインターン中の@shidoです。 今回はメルカリ内部で使用する機械学習プロダクトにマルチモーダルモデルを用いることで、予測精度の向上に成功した話をご紹介いたします！ マルチモーダルとは マルチモーダル(Multimodal)なデータは、「ひとつのデータに対する情報が複数(multi)の形式(mode)で存在しているデータ」と説明できます。 例えば動画配信サイトで配信されている動画には、映像・音声・説明文と、ひとつのビデオについて少なくとも3つの形式で情報が存在していると考えることが出来ます。 メルカリに出品されている商品について考えると、ひとつの商品について写真・説明文・値段など複数の形式で情報が存在しているので、これもまたマルチモーダルなデータといえます。 メルカリでの応用：不正出品検知 現在メルカリでは1日100万品以上が出品され、売れて
