動画の予測のPredNetの論文を読む - mabonki0725の日記

ランニングできず 英語できず (1) 動画の予測のPredNetの論文を再チャレンジする 以前少し読んだが数式が全く無く、何故動画予測ができるか記述もなく、公開コードを稼動できなかったので、NLPに方向を変えた覚えがある。 本論文の内容は下図で示される通りで、赤矢印に示す様に下層から上層への精緻化と、上層から下層への予測画像の過剰変動の抑制とを深層学習で同時に行っている。 左図はPredNetを２段重ねたものである。右図は各段の内容が示されている。 右図の素子の内容からは ・は入力画像をconv+poolして画像の抽象化をしている ・誤差は予測画像と入力画像の差分から max(0,差)とmin(0,差）で２つの矩形差分(L1)を求めている。 ・は時系列素子であり、上層のと誤差で作られている この時系列素子は画像復元するdeconvolutionの機能を持っている 処理手続きとしては下層が上

[mookie]

“層から上層への精緻化と、上層から下層への予測画像の過剰変動の抑制とを深層学習で同時に行ってい”