TensorFlowで畳み込みLSTMを用いた動画のフレーム予測 - Qiita

この記事は、TensorFlow Advent Calendar 2016の18日目の記事です。 もともとはPredNetを実装しようと思ってConvLSTMを実装していたのですが、これ単体でも動画のフレーム予測ができるのでせっかくなので試してみようと思ってこの記事を書きました。 この前のTensorFlow UserGroupのイベント「NN論文を肴に飲む会」でも発表させていただきましたので、元となる論文の概要などが気になる方はこちらのスライドをご覧ください。 Convolutional LSTM(畳み込みLSTM) 名前からしてどんなものなのかという想像は簡単につくと思います。従来のLSTMでは時間遷移する状態は（バッチサイズ, 中間層のユニット数）の2階テンソルでしたが、それが(バッチサイズ,縦,横,チャンネル数)の4階テンソルになったものです。その際、扱う状態が画像情報なので、従来