自動微分は2種類に分けられ、それぞれ ボトムアップ型自動微分（フォーワード・モード、フォーワード・アキュムレーション、タンジェント・モード、狭義の自動微分） トップダウン型自動微分（リバース・モード、リバース・アキュムレーション、随伴モード、高速自動微分） と呼ばれる。 ボトムアップ型自動微分では連鎖律を内側から外側に計算し（∂w/∂xを計算した後で ∂y/∂w を計算する）、トップダウン型自動微分では外側から内側に計算する。 使い分けは、入力が n 次元、出力が m 次元とした場合、以下の違いがある。 n < m ならばボトムアップ型の方が計算量が少ない。ボトムアップ型の計算回数はn回。 n > m ならばトップダウン型の方が計算量が少ない。トップダウン型の計算回数はm回。 機械学習において、損失関数の出力はほぼ常に m = 1 のスカラーなので、トップダウン型が使われる。機械学習で用い