4D-Humansで、3Dモデル推定とトラッキングを行う
1.はじめに 今回ご紹介するのは、特殊なポーズでも３Dモデル推定が可能な4D-Humansという技術です。 2.4D-Humansとは？ 下記が4D-Humansの概略図です。まず、HMR 2.0と呼ばれるトランスフォーマー構造のネットワークで人間のポーズの特徴量を抽出し、3Dモデル推定します（左図）。これによって、従来では3Dモデル推定が困難であった特殊なポーズでも、モデル推定を可能にしています。 次に、3Dモデル推定の結果を元に、あるシーンと次のシーンを比較し適切な補正を掛けることによって、人物の精度の良いTrackingも可能にしています（右図）。 3.コード コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます。自分で動かしてみたい方は、この「リンク」をクリックし表示されたノートブックの先頭にある「Open in Colab
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - Mangio621/Mangio-RVC-Fork: *CREPE+HYBRID TRAINING* A very experimental fork of the Retrieval-based-Voice-Conversion-WebUI repo that incorporates a variety of other f0 methods, along with a hybrid f0 nanmedian method.
生成 AI に必要な「基盤モデル」のメモリ使用量 98％削減につながる技術を開発 ─ 自動運転車や工作用ロボット用組み込みシステムへの搭載を目指す ─
エンジニアはLLMとどう付き合うか / How engineer get along with LLM
