huggingface tutorial「Fine-tune a pretrained model」をpytorch DDPでやってみた - Qiita

from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-cased") def tokenize_function(examples): return tokenizer(examples['text'], padding='max_length', truncation=True) tokenized_datasets = dataset.map(tokenize_function, batched=True) # text情報はモデルに入力しないため削除 tokenized_datasets = tokenized_datasets.remove_columns(['text']) # モデルでは引数がlabelsであると仮定されているので、labelカラムの