自動微分 - Wikipedia

自動微分は2種類に分けられ、それぞれ ボトムアップ型自動微分（フォーワード・モード、フォーワード・アキュムレーション、タンジェント・モード、狭義の自動微分） トップダウン型自動微分（リバース・モード、リバース・アキュムレーション、随伴モード、高速自動微分） と呼ばれる。 ボトムアップ型自動微分では連鎖律を内側から外側に計算し（∂w/∂xを計算した後で ∂y/∂w を計算する）、トップダウン型自動微分では外側から内側に計算する。 使い分けは、入力が n 次元、出力が m 次元とした場合、以下の違いがある。 n < m ならばボトムアップ型の方が計算量が少ない。ボトムアップ型の計算回数はn回。 n > m ならばトップダウン型の方が計算量が少ない。トップダウン型の計算回数はm回。 機械学習において、評価値はほぼ常に m = 1 の実数なので、トップダウン型が使われる。機械学習で用いられる多層パ

[mooz]

autograd のヤツ

[hiratara]

言ってることがよくわからないから後で調べる。「> 自動微分とは … 数式微分・数値微分のいずれとも異なる。」

[did2]

"プログラムで定義された関数を解析し、偏導関数の値を計算するプログラムを導出する技術"