はてなブックマーク

Speed Limits for Deep Learning という論文でニューラルネットの学習過程における熱力学的速度限界の研究がされています。 先を越されてしまった感があるので紹介します。本文10ページくらいで解析式とテストデータでの興味深い結果が書かれています。 熱力学的速度限界とは非平衡な物理系において分布の変化の大きさL、エントロピー生成\sigmaに対して変化に要した時間\tauが \tau \geq \frac{L^2}{2\Lambda \sigma} というような形で制限される法則です。 詳しくは ここでは機械学習の過程でパラメーター\theta_tが時間tに対して d\theta_t=\eta\nabla_\theta V(\theta;D)dt+\sqrt{1\eta\beta^{-1}}dB_t (Dは学習データ\etaは学習率)と変化するような状況を考え、 論文で