概要 少量の学習データ(Few-Shot)でも精度が出る深層学習手法が登場してきています。 その一つがSetFitです。テキスト分類向けのFew-Shot学習手法です。 本記事では、SetFitを使うとよい(使わない方がよい)場面を見極めるために、リアルな問題に近い日本語ニュースジャンル分類タスクをお題に、学習データ数を変えながらそこそこ強い日本語T5と戦わせてみます。 忙しい方向けに最初に結論をまとめ、その後にSetFitの使い方の説明を兼ねて実験を再現するためのコードの解説をしていきます。 結論 Livedoor news記事のジャンル分類タスク(9分類タスク)について、クラスあたりのデータ数を2倍ずつ変えながら、SetFitと日本語T5それぞれについて分類精度を計測しました。 結果は下図のとおりです。 なお、クラスあたりのデータ数は全クラスで同一(均衡)になるようにランダムサンプリン
![実際問題、Few-Shot学習手法SetFitはいつ使うとよいのか? - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f3d3f947e51927c8ad5cc3aed9388298ae9ca1a3/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-f625e957b80c4bd8dd47b724be996090.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUU1JUFFJTlGJUU5JTlBJTlCJUU1JTk1JThGJUU5JUExJThDJUUzJTgwJTgxRmV3LVNob3QlRTUlQUQlQTYlRTclQkYlOTIlRTYlODklOEIlRTYlQjMlOTVTZXRGaXQlRTMlODElQUYlRTMlODElODQlRTMlODElQTQlRTQlQkQlQkYlRTMlODElODYlRTMlODElQTglRTMlODIlODglRTMlODElODQlRTMlODElQUUlRTMlODElOEIlRUYlQkMlOUYmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ21pZGRsZSZzPWNhMTA0NDE0Y2IzNDE5YjA5MGI2Mzk2ODQ1ZDliNTUz%26mark-x%3D142%26mark-y%3D151%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwc29ub2lzYSUyMGluJTIwJUU2JTk3JUE1JUU5JTg5JTg0JUUzJTgyJUJEJUUzJTgzJUFBJUUzJTgzJUE1JUUzJTgzJUJDJUUzJTgyJUI3JUUzJTgzJUE3JUUzJTgzJUIzJUUzJTgyJUJBJUU2JUEwJUFBJUU1JUJDJThGJUU0JUJDJTlBJUU3JUE0JUJFJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzImdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wYWJiOWQwZGVhODA5NjYyMzM5NDUxZGJmZGM4OGJkZg%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D867402d2d0f2b92ce113b26a5625a352)