ボトムアップ型自動微分の実験 - kivantium活動日記

Deep Learningの関係で自動微分が脚光を浴びつつあるような気がしますが、自動微分を解説したページは少なくまだまだマイナーな分野だと思います。先日ようやく「アルゴリズムの自動微分と応用」を一通り眺めたのでいろいろ実験して遊んでいます。今日は自動微分のうち、ボトムアップ型自動微分をオペレータオーバーロードを用いて実現する方法について書きます。 自動微分とは 自動微分は、アルゴリズムによって定義された関数からその関数の偏導関数値を計算するアルゴリズムを導出するための技術です。一般的にはのような関数が先にあって、その関数を計算するアルゴリズムやプログラムがあるというように考えますが、自動微分ではどちらかというとアルゴリズムが先にあってアルゴリズムが表現する関数が生まれるというような考え方をします。 プログラムで微分を扱う上でよく知られている技術には数値微分と数式微分があります。 数値微分

[terazzo]

プログラムを静的に解釈せずに評価器を付け替えて実行すれば実行系で構造が取れるというアイデアの例と言えなくもない(自分用メモ)

[tadachika_id]

出版社には在庫があることがあるのか