自己中心的な3Dポーズ推定のための時空間トランスフォーマーの構築

Building Spatio-temporal Transformers for Egocentric 3D Pose Estimation 画像からの自己中心的な3D人間のポーズ推定（HPE）は、ヘッドマウントカメラからの魚眼ビューによってもたらされる深刻な自己閉塞と強い歪みのために困難です。既存の作品は、中間ヒートマップベースの表現を使用して歪みに対抗し、ある程度の成功を収めていますが、自己閉塞への対処は未解決の問題のままです。この作業では、過去のフレームからの情報を活用して、自己注意ベースの3DHPE推定手順であるEgo-STANをガイドします。具体的には、意味的に豊富な畳み込みニューラルネットワークベースの特徴マップに対応する時空間Transformerモデルを構築します。また、特徴マップトークンを提案します。これらの特徴マップに参加するための学習可能なパラメーターの新しいセット

[arxiv_reader]

画像からの自己中心的な3D人間のポーズ推定（HPE）は、ヘッドマウントカメラからの魚眼ビューによってもたらされる深刻な自己閉塞と強い歪みのために困難です。既存の作品は、中間ヒートマップベースの表現を使