専門知識を持つデータで事前学習することの重要性とは？ ~ 法律文書の分類に対するBERTの応用 ~

3つの要点 ✔️ 法律文書の分類タスクにBERTを適用. ✔️ 「法律に関する専門知識を含むテキストにより事前学習したモデル」と「汎用的なテキストにより事前学習したモデル」をFine Tuningし、精度を比較. ✔️ BERTの上限である512単語を超える長い法律文書に対して、BERTを適用する手法についても検討 Effectively Leveraging BERT for Legal Document Classification written by Nut Limsopatham (Submitted on Nov 2021) Comments: EMNLP | NLLP 本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。 はじめに 近年の深層学習の発展は文書分類や自動翻訳、対話システムなど自然言語処理(以後、NLP)に