Hugging Face Courseで学ぶ自然言語処理とTransformer 【part7】

はじめに この記事ではHugging Face CourseのChapter 3、モデルのFine-tuningを行うためProcessing the dataの内容をベースにデータセットの準備についてまとめていきます。 一個前の記事はこちら コードの実行は今回もGoogle Colabで行う例になります。 Hugging Face Datasets Hugging FaceではTransformerモデルだけでなく、色々な自然言語処理のタスク向けの学習データセットも公開されています。 こちらからどのようなデータセットが公開されているか検索することができます。 データセットの利用も下記のようにdatasetsライブラリから簡単にできるようになっています。 今回はGLUE Benchmark[1]に含まれるもののうちMRPCデータセットを使用したモデルの学習について見ていきます。 datas