TransformersのAttributeError: 'gpt2tokenizerfast' object has no attribute 'max_len' エラーを解決した件について - Qiita

はじめに Huggingface Transformersを勉強しているのですが、Transformersが新しくなったようで、公式に乗っているコードも動かないものが多く、そちらの対処をしましたので記事にします。 私はこちらの記事を動かしている途中でエラーに遭遇しました。 前回 このエラーの前に遭遇したエラーについては以下の記事をご参考ください。 問題 以下のコードで学習を始めるとエラーが発生します。 !python transformers/examples/legacy/run_language_modeling.py \ --output_dir=output \ --model_type=gpt2 \ --model_name_or_path=gpt2 \ --do_train \ --train_data_file=train.txt \ --do_eval \ --eval_d

[m-tanaka]

“model_max_length”