PyTorchの勾配更新方法の解説今回も PyTorch に関する記事です。 この記事では、requires_grad、zero_gradなどについて説明します。 私自身も勉強中ということもあり間違い等あるかもしれません。その際は Twitter などで教えてください。 requires_grad とは【学び直し】Pytorch の基本と MLP で MNIST の分類・可視化の実装までで紹介したように、requires_gradは自動微分を行うためのフラグです。 単純に tensor を定義した場合はデフォルトで False になっています。 x = torch.ones([3, 32, 32]) x.requires_grad # >>> False一方で、ネットワークを定義した場合のパラメータはデフォルトでrequires_grad=Trueです。 意外とこれを知らずにわざわざ学習時にrequires_grad=Tr
