Vtuberみたいなビデオチャットアプリ作ってみた - Qiita

概要 先日参加させていただいたWebRTCハッカソンでLive2Dを使ったアバタービデオチャットを作成しました firebaseでデプロイしてるのでぜひ試してみてください！ ゆる〜む 目次 使用技術 構成 中身 使用技術 WebRTC live2D clmtrackr.js (トラッキングのライブラリ) 構成 ビデオチャット自体は通常と同じように、skywayを通してWebRTCの通信を可能にしています それによって音声や映像の送受信をしています 中身 アバターの動き アバターにはlive2Dを使用しています また、jsのライブラリであるclmtrackr.jsを使用して送られてきた映像から顔のトラッキングをしています 手順としては以下 1. （自分の場合は自分の映像を、相手は送られてきた映像を元に）映像からclmtrackrを用いてトラッキングを行う 2. トラッキングした結果が配列とし