ペラペラ曲がる紙に合わせて映像合成 NVIDIAなどが技術開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 香港中文大学、中国浙江大学、米NVIDIAによる研究チームが開発した「LIFE: Lighting Invariant Flow Estimation」は、動画内の画像を別の画像や映像に変換できるオプティカルフロー推定（動く対象物の各画素がどの位置に移動したかを数値で表す各画素の移動量のこと）のための深層学習フレームワークだ。 カメラの視点や照明が大きく異なっても安定して画像を変換できる。また複雑に曲がる紙のような表面に対してもズレたり乱れたりせず、ぴったり貼り付いているかのような画像合成ができる。 動画内の一部分の対象だけ別の画像に変更し、カメラ視点が移動してもそれに応じて常に貼り付いて

[cinemaphile]

なんでトトロにしたんだろ

[bluescreen]

リアルタイム処理してるんなら凄いんだろうけど、演出手法として昔からありそうな感じがするからか今ひとつ新鮮味に欠ける。

[tattyu]

これ、プロジェクターと組み合わせたら面白そう。

[miyako_suteking]

すげー

[Seamless]

動画内の一部分の画像だけを別の画像や映像に変換できるオプティカルフロー推定のための弱教師あり学習。曲がる表面にも貼り付いているかのように描画。カメラ視点や照明変動が大きくても安定して表示。