【論文紹介】TabBERTモデルによるクレジットカードの不正利用検知 - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 自然言語処理で利用されるBERTを多変量表データの学習に応用した、Hierarchical Tabular BERT(TabBERT)というモデルの紹介論文を簡単にまとめた記事となります。 論文では、時系列表データの生成モデルであるTabGPTやTabBERTによる大気汚染濃度の回帰分析についても紹介されていますが、今回は自分のやりたいことと近い、TabBERTによるクレジットカードの不正利用検知(分類)の部分のみをまとめました。 前提知識 BERTどころか自然言語処理の知識もゼロのところから論文を読み始めたらAbstract

[sh19910711]

"TabBERT; Hierarchical Tabular BERT: BERTを多変量表データの学習に応用 + 表データのフィールド間と行間の照応関係を反映 / MLM: [CLS]や[SEP]を除いた15 %を以下のように置き換え、元のトークンが何であったかを予測" arXiv:2011.01843 2022