はてなブックマーク

この記事は SkyWay Advent Calendar の20日目です Webカメラの映像をアバターに反映し、その映像をSkyWayに投げて殺伐なテレビ会議を楽しくしちゃうぞ モデルはthree-vrm-girlをお借りしました:kawaii: WebGLはさっぱりなんですが、まずはthree.jsを触ってみようとやってみました SkyWayにMediaStreamを渡すまでがメイン リポジトリは一番下へ 流れ 顔認識 WebCamからVideoStream取得 (face-api.js)学習済みモデルのロード (face-api.js)HTMLVideoElementをInputとして、68landmarks、表情を取得 デバッグ用のcanvasに68landmarksを表示 VRMの表示・モーション制御 (three.js) レンダラ、カメラ、ライティング、シーンの初期化、canva