mediapipeとVSeeFace(Leap Motionなし)でVRMモデルを動かす実験メモ
以前に書いた記事では、ThreeDPoseTrackerとVSeeFaceを使って、上半身のWebカメラ映像だけでVRMモデルの手や顔を動かしてみました。 今度はThreeDPoseTrackerではなくmediapipeのHolisticとHandsを使って、手や体の動きをトラッキングすることで、mediapipeとVSeeFace(Leap Motionなし)で、Webカメラだけでモーションキャプチャ―してVRMモデルを動かす実験をしました。 まだまだ試行錯誤している途中ですが、ここまでの記録をメモとして残しておきます。 ※追記：今はこんなことをしなくても、ThreeDPoseTrackerだけで同等以上のことができます。 やりたかったこと Webカメラ1台の上半身の映像で、顔や手など上半身の動きをトラッキングして、VRMモデルを動かすことです。 要はバストアップのvtuberみたいな
【MediaPipe + KalidoKit】ブラウザでリアルタイム顔認識して遊ぶ
こんにちは、@d_etteiu8383です。この記事は夏のブログリレー 2022年 28日目の記事です。 概要 本記事ではMediaPipeのFaceMeshとKalidoKitを利用して、ブラウザ上でリアルタイムに顔認識を行う方法について説明します。 イントロ 突然ですが本日9月6日が何の日だかご存じでしょうか？そうです、真中のんさんの誕生日ですね。 彼女はアニメ『プリパラ』の登場人物の一人ですが、このアニメは3DCGを利用したライブシーンが特徴的ですよね。3Dと言えば<!-- ここにこじつけ理由を書く -->というわけで本記事ではMediaPipeのFaceMeshとKalidoKitを利用した、ブラウザ上でのリアルタイム顔認識について説明します。 MediaPipe Face Mesh overview: https://google.github.io/mediapipe/solu
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
