自動微分は2種類に分けられ、それぞれ ボトムアップ型自動微分(フォーワード・モード、フォーワード・アキュムレーション、タンジェント・モード、狭義の自動微分) トップダウン型自動微分(リバース・モード、リバース・アキュムレーション、随伴モード、高速自動微分) と呼ばれる。 ボトムアップ型自動微分では連鎖律を内側から外側に計算し(∂w/∂xを計算した後で ∂y/∂w を計算する)、トップダウン型自動微分では外側から内側に計算する。 使い分けは、入力が n 次元、出力が m 次元とした場合、以下の違いがある。 n < m ならばボトムアップ型の方が計算量が少ない。ボトムアップ型の計算回数はn回。 n > m ならばトップダウン型の方が計算量が少ない。トップダウン型の計算回数はm回。 機械学習において、評価値はほぼ常に m = 1 の実数なので、トップダウン型が使われる。機械学習で用いられる多層パ