それでは ScheduleFree の使い方を見ていきましょう。といっても、基本的には従来のoptimizerとなんら変わりません。差分は以下の2点です。 scheduler が不要になること optimizer.eval()とoptimizer.train()を適切なタイミングで呼ぶこと 例えば、AdamWとなんらかのschedulerを使う場合のよくあるモックを考え、そこからの差分として骨子を表現してみると、以下のような感じになるかと思います[4]。 import argparse import torch import torch.nn as nn import torch.nn.functional as F from pathlib import Path +from schedulefree import RAdamScheduleFree from torch import