“実在しないリアルな顔”を自在に編集できる「StyleRig」 StyleGANで生成した顔の向き、表情、照明を制御

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 独MPI Informatics、仏Technicolor、仏Valeo.ai、米スタンフォード大学による研究チームが開発した「StyleRig」は、機械学習が生成したリアルな、だが実在しない人物の顔（静止画）を自在に編集できるシステムだ。 顔の向きや表情、光の当たり方などを変更できる。 今回の手法は、GAN（Generative Adversarial Network）を用い、リアルな顔画像を生成するNVIDIAの「StyleGAN」をベースにしている。 StyleGANは、高解像度の人物画像や2つの顔を組み合わせた合成画像を生成するスタイル変換ネットワークで、実在しないがリアルな顔を出

[muchonov]

リギング制御の後処理、特にillumination editingが優れているからか、INAI MODEL（データグリッドのGAN使ってるやつ）にあった不自然さがない。

[guldeen]

顔の向きと光源と男女・年令・人種がある程度指定できるだけでも、(実在の人物やモデルを使った事での弊害から逃れられるなら)広報や広告部門としては大助かりですm(_ _)m

[Seiji-Amasawa]

“「StyleRig」は、機械学習が生成したリアルな、だが実在しない人物の顔（静止画）を自在に編集できるシステムだ”

[misshiki]

“「StyleRig」は、機械学習が生成したリアルな、だが実在しない人物の顔（静止画）を自在に編集できるシステムだ。 顔の向きや表情、光の当たり方などを変更できる。”

[kei_1010]

動いてはいけない部分が同時にグネグネ動いてしまうので、まだまだ気持ち悪いな。骨格や背景を別で生成するような調整ができれば、また次のレベルに行けるだろう。今後が楽しみ。

[sugawara1991]

「実在しない」なんて保証できないでしょうに。たまたま自分の顔と区別できないブツが使われて「似てようが何だろうが合成だから好き勝手するしお前の肖像権なんか知らん」なんて納得できるわけない

[son_8ga7gkakgaga]

人間の存在そのものがアバター化していく世界。オッサンの見た目であっても心が少女なら美少女になれる。

[x100jp]

データセット増やせちゃう。

[gogatsu26]

たぶん児童ポルノ関連で大騒動に

[cinefuk]

たとえば「実写系vTuber」みたいな展開もできるし、一方でDeepFakeへの応用もできる https://t.co/k6dtzTEKRu

[Seamless]

寄稿：NVIDIAのStyleGANで生成した高解像度の合成顔画像の品質を維持したまま頭の向き、表情、照明をリギングのように変更できる.自己教師あり学習、微分可能レンダラー使用。