PyTorch関数名の末尾アンダーバー`_`の意味 - BioErrorLog Tech Blog

in-place処理であることを意味します。 はじめに PyTorch関数名の末尾アンダーバー_ 意味 具体例 おわりに 参考 はじめに PyTorchを触っていると、しばしばアンダーバー_を接尾語とする関数を見かけます。 kaiming_normal_ add_ etc... 初見で意味を知らなかったので備忘録メモです。 PyTorch関数名の末尾アンダーバー_ 意味 PyTorch関数名の末尾アンダーバー_は、in-place処理を意味します。 in-place処理とは、元のデータを直接変更する処理のことです。 In-place operations Operations that have a _ suffix are in-place. For example: x.copy_(y), x.t_(), will change x. Ref. Tensors — PyTorch Tu

[misshiki]

“PyTorch関数名の末尾アンダーバー_は、in-place処理を意味します。”

[sh19910711]

"addとadd_ / 元のデータを直接変更する処理 / in-place処理はメモリを節約することができますが、そこまでの履歴を書き換えることになるためautograd処理に問題が生じる可能性がある + 基本的には非推奨"