共同音声ジェスチャ生成のための階層的クロスモーダルアソシエーションの学習
Learning Hierarchical Cross-Modal Association for Co-Speech Gesture Generation 音声に一貫した体とジェスチャーの動きを生成することは、仮想アバターの作成における長年の問題です。以前の研究では、すべての関節のポーズが同時に生成される全体的な方法でポーズの動きを統合することがよくあります。このような単純なパイプラインでは、きめの細かい共同音声ジェスチャを生成できません。 1つの観察は、音声の階層的セマンティクスと人間のジェスチャーの階層構造は、自然に複数の粒度に記述され、一緒に関連付けられる可能性があるということです。スピーチオーディオと人間のジェスチャの間の豊富な接続を十分に活用するために、共同スピーチジェスチャ生成のためのHierarchical Audio-to-Gesture（HA2G）という名前の新しいフレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://arxiv-check-250201.firebaseapp.com/each/2403.09069v3
https://arxiv-check-250201.firebaseapp.com/each/2405.14312v1
https://arxiv-check-250201.firebaseapp.com/each/2405.01885v1
https://arxiv-check-250201.firebaseapp.com/each/2403.09069v2
GestureDiffuCLIP: CLIP Latents を使用したジェスチャー拡散モデル
GestureDiffuCLIP: CLIP Latents を使用したジェスチャー拡散モデル
DMMG: 自己教師ありスケルトンベースのアクション認識のためのデュアル最小最大ゲーム
社会的知性質問応答のための対面対照学習