この記事はBASE Advent Calendar 2022の19日目の記事です。 はじめに こんにちは、DataStrategyチームの竹内です。 今回はBASEで作成されたショップが扱っている商品のカテゴリを機械学習モデルを使って推論するための取り組みについてご紹介いたします。 はじめに TL;DR 商品カテゴリ データセットの作成 ラベルセットの検討 データのサンプリング AWS Ground Truthを利用したアノテーション アノテーション対象のフィルタリング モデルの学習とテスト BERTのファインチューニング モデルの性能評価 gokartを利用したパイプラインの構築 AWS Batchを利用したバッチ推論基盤 おわりに ※ 記事内のコードはサンプルとして簡略化しています。 TL;DR BASEで作成されたショップに登録されている商品のカテゴリ(ファッション、食料品など)を予
![BERTを利用した商品カテゴリの推論基盤を作りました - BASEプロダクトチームブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/bfaa719c9ef8e896b9ac2c8779a43be1bdb1ac66/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fs%2Fshotakeuchi%2F20221214%2F20221214183352.png)