グリーンバックなしで自然に背景合成できる「Background Matting」 深層学習で前景切り抜き

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 必要なのは、スマートフォンなどで同じ場所で撮影した被写体ありシーンと、被写体なしの背景シーンの2つのみ。この2つの画像を用いて前景を切り抜き、新しい背景に統合された画面を合成する。 グリーンバックなどの特殊な環境を使わずに画像から前景を切り抜く技術は、前景を切り抜いたデータを生成するAlpha Matteという手法を中心に、「Alpha Matting」という分野として近年盛んに研究されている。 今回提案するモデルも、このAlpha Matteを推定するための生成ネットワークが主要タスク。生成ネットワークでは、被写体が写った画像と写っていない画像を入力とし、自動計算されたセグメンテーション

[misshiki]

“「Background Matting」は、グリーンバックなしでも、動く人物と背景画像を合成できる深層学習フレームワークだ。”

[Seamless]

寄稿：スマートフォンカメラで撮影した同じ場所の被写体あり/なしの2シーンを入力に前景を抽出し別の背景に合成。生成器でAlpha Matteと前景の持つ色を推定から合成、識別器で敵対させる。