RigNeRF：完全に制御可能なニューラル3Dポートレート
ニューラルラディアンスフィールド（NeRF）などのボリュームニューラルレンダリング方法により、フォトリアリスティックな新しいビューの合成が可能になりました。ただし、標準形式では、NeRFはシーン内の人間の頭などのオブジェクトの編集をサポートしていません。この作品では、RigNeRFを提案します。これは、単なる斬新なビュー合成を超えて、単一のポートレートビデオから学習した頭のポーズと顔の表情を完全に制御できるシステムです。 3Dモーフィング可能な顔モデル（3DMM）によって導かれる変形フィールドを使用して、頭のポーズと顔の表情の変化をモデル化します。 3DMMは、3DMM変形の残差のみを予測することを学習し、入力シーケンスに存在しなかった新しい（剛体）ポーズと（非剛体）式をレンダリングできるようにするRigNeRFの事前機能として効果的に機能します。スマートフォンでキャプチャした被験者の短い
リップシンクのためのリップムーブメント情報の解きほぐし
唇の動きの情報は、多くの視聴覚タスクにとって重要です。ただし、ビデオから唇の動きの情報を抽出することは困難です。これは、個人のアイデンティティや頭のポーズなどの要因によって簡単に混乱する可能性があるためです。この論文では、パラメトリック3D顔モデルを利用して、唇の動きの情報を明示的に解きほぐすことを提案します。最近の3D顔再構成の進歩に加えて、まず、唇の動きの情報が存在する表現情報を一貫して解きほぐすことができる方法を提供します。次に、解きほぐされた唇の動きの情報を使用して顔を合成することにより、摂動要因の影響が軽減されると、はるかに少ないデータでリップシンクタスクをより適切に実行できることを示します。最後に、アクティブスピーカー検出タスクの目に見えないデータセットでテストし、競争力のあるパフォーマンスを実現することで、実際にその有効性を示します。 The lip movements in
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ナレート：通常のアシスト付きフリービューポートレートスタイライザー
生成的ニューラル関節放射輝度フィールド
条件付き生成占有フィールドを使用した制御可能な3D顔合成
AFNet-M：2D+3D顔の表情認識のためのマスクを備えた適応型融合ネットワーク
透視投影による 3D 顔再構成に向けて: 単眼画像から 6DoF の顔姿勢を推定
ビデオのポートレートのパラメトリックリシェイプ
3DMMを超えて：忠実度の高い3D顔の形をキャプチャする方法を学ぶ
制御可能なポートレート画像アニメーションのための3DGAN反転
REALY：3D顔再構成の評価を再考する
HAA4D：3D時空間骨格アライメントによる少数のショットの人間の原子行動認識
残余フローベースの補正による位置ずれしたソースからのポーズガイド画像生成
IMアバター：ビデオからの暗黙のモーフィブルヘッドアバター
IMアバター：ビデオからの暗黙のモーフィブルヘッドアバター
人間の再建のためのジオメトリを意識した 2 スケール PIFu 表現
ハイブリッドテレプレゼンスシステムの注意ベースの閉塞除去
Neural Emotion Director：「インザワイルド」ビデオでの顔の表情の音声保存セマンティック制御
VoRTX：Voxelwiseビューの選択と融合のためのトランスフォーマーを使用したボリューム3D再構成
歪んだ畳み込み：空間変換に対する効率的な不変性