写真の手前に映りこむ“邪魔もの”を消し去る技術 台湾大学やGoogleなどが開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 台湾大学、米Google、米カリフォルニア・マーセッド大学、米バージニア工科大学による研究チームが開発した「Learning to See Through Obstructions」は、画像内の手前に映りこんだ不要な障害物を除去する、機械学習ベースの技術だ。窓越しに撮影したときの水滴やガラスの反射、被写体の手前にあるフェンスなどを自然に消すことができる。 背景にある対象物と障害物要素はそれぞれのレイヤーがカメラに対して異なる深度に位置しているため、撮影した画像では2つのレイヤー間で動きが異なる。フレームごとに視点がずれるよう連続に複数枚撮影することで発生する背景と映り込み箇所の位置ずれ量の

[zheyang]

この集合写真、私だけ写ってないんだけど……

[srgy]

「高名な霊能力者の方だと聞いて伺ったのですが…」「ご用件は？」「この写真なんですが…ここ、私の前に妙な人影が写ってるんですけど…」「ああ、それならこの技術で消せますよ」「いえ、そうじゃなくて…」

[Byucky]

ここでアジアで唯一、台湾大学が出てくるんかい。台湾とアメリカってアカデミックで繋がり深いってよく聞く。これ、便利だから次のPixelの目玉機能とかで出て来そうだな

[htnmiki]

ついに透視メガネが……ぐふふ……

[buu]

額装した絵画の、前面のガラスやアクリルへの写り込みがこれで除去できたらとてもありがたい。

[ardarim]

深度差を利用してるから、あくまで連続するフレームが必要。当然、単体の写真から任意の何かを除外できる技術などではない。

[mujisoshina]

漫画だと「この人物写真の服が邪魔だから消そう」ということでこの処理をかけたら骸骨が写るみたいな話になる。

[naggg]

ロボットの眼へ応用なのかー

[ultimate-ez]

窓に反射する(うつる) 哀れな自分(おとこ)もかんたんに消せるのか！愛おしくもあるんだけどなー

[naratas]

真逆のアプローチで「ガラスへの映り込み要素『だけ』を残して他を消す」もできると思うんだけど、その技術が一般化したら見えちゃいけないものが映ってしまう事案が多発して各所炎上しそう。

[yogasa]

タイトルみて，台湾より中国とか旧ソ連が好きそうな技術だと思った

[vermilion918]

動物園で写真撮るとき助かるやつだ

[moriken1098]

この逆に映り込みだけを出力みたいな事で有力なネットストーカーツールになるかと思ったら角度付き画像2枚要るんじゃ駄目だな

[brain-owner]

霊幻新隆が、仕事してたw

[mohri]

撮影可だけどガラス越しなので必ず自分が映り込む美術館とかで有益すぎる！

[Silica]

前にTwitterで流れてきたAppleの広告思い出した>https://b.hatena.ne.jp/entry/s/twitter.com/Apple/status/1229960838598942720

[taisai429]

こういう、精巧なフェイクを作る技術ばかりが発展していくのどうなのかなあ、よくTLに流れてくる古写真の色付けもあまり好きではない

[kuzudokuzu]

悪用すれば、copyright用のサイト名とかも消せそう。

[napsucks]

だいぶ昔のsiggraphで見たような・・・

[misshiki]

事例“「Learning to See Through Obstructions」は、画像内の手前に映りこんだ不要な障害物を除去する、機械学習ベースの技術だ。窓越しに撮影したときの水滴やガラスの反射、被写体の手前にあるフェンスなどを自然に消”せる。

[nmcli]

男性のズボンはおかしなことになってるが、予測精度はいいな

[rrrody]

これで撮り鉄の争いが無くなるといいね！＼(^o^)／

[kotobuki_84]

黒澤明の「あの家が邪魔」に、ついに技術が追いついた

[nisisinjuku]

ある意味ディープフェイク的な。撮っているものではないフィクションが撮影できるようになるんだね…。（書いていて意味がわからないｗ）

[fashi]

PLフィルタ要らなくなるね / 金網消すのは確かにこれで局部隠してる写真とかどうなるんだと思ってしまう / 少しずつずらして撮影した5枚の写真から合成するっぽいのでそこまで凄くなかった

[mizukemuri]

Photoshopに実装はよ…って撮影時にやらなきゃダメなのか

[Seamless]

窓越しやフェンス越しに撮影した時のガラスの反射や水滴,フェンス等を除去する深層学習。異なる角度から複数撮影し背景と前景の動きの違いから両層を再構築。コンピュータビジョンロボの理解へ応用。

[impreza98]

これサーキットでの金網越しの撮影が超捗るやつやん