ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発した論文を読んだ - Qiita

はじめに ニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムをDeepMindが開発したらしいので、元論文を読んでみた。 Overcoming catastrophic forgetting in neural networks https://arxiv.org/abs/1612.00796 Introの最初から汎用人工知能とかいきなり出てくるのでおおっと思うが、やってることはめちゃくちゃシンプル 端的に言えば学習したニューラルネットのパラメータのそのタスクに対する重要度がフィッシャー情報行列で測れるよ 脳神経科学系の単語が結構出てくるので、専門家がいるのかな？とはいえこの背景は後付で、アルゴリズムが先なんじゃないかな… 元の論文では数式を端折っている箇所があるので、適宜補完しつつ、直感的解釈とかは勝手に入れている。論文の流れにはそこまで沿っていない 不正確・間違ってい

[oooooo4150]

「破滅的忘却」って響きがかっこいいよね（目をキラキラさせながら

[uskey]

別タスクに行って戻ってくると初心者に戻ってる問題？ということかな

[johshisha]

最後の方に記載されている2階微分することで加速度を得るという発想が面白かった

[gayou]

む、難しい。。

[stealthinu]

特定用途向けではなく汎用（多用途）向けの学習をさせる時に起こる破滅的忘却を回避する。数学があんまりわからんのだけどアルゴリズム的には結構シンプルな感じになってそう。