Unity でリアルタイムにリップシンクする MMD4Mecanim LipSync Plugin を作ってみた - 凹みTips

はじめに 前回（Oculus Rift をかぶって VR の世界でおしゃべりしてきた - 凹みTips）、MMD4Mecanim を適用したモデル上でリップシンクを行うプラグインの紹介をしました。本エントリでは、前回省略してしまった利用方法や仕組みの解説をしていきたいと思います。 デモ 歌をリップシンクさせたデモになります。曲は、しましまPさんの「LIFE -きみそらいのち-」を利用させて頂いています。 LIFE -きみそらいのち- 【初音ミク/しましまP】 - ニコニコ動画 LIFE -きみそらいのち- ボーカル配布（初音ミク） - ニコニ･コモンズ LIFE -きみそらいのち- (off vocal) - ニコニ･コモンズ 前回の会話をしてみたデモは以下になります。 できること 主に出来ることは以下の 3 種類になります。 オーディオファイルに合わせてリップシンク 文字列を発話しながら

[peroon]

“口の動きに遅れて声が出るので、ある程度遅らせた値を指定したほうが自然なリップシンクになります”

[nikutaiha]

unity,リップシンク

[Nyoho]

母音を音声認識して口を動かして表示する。フーリエ解析の教材に母音認識は作ってみたけど、表示をこうするのも楽しそう。

[ktakemoto]

これはすさまじいデモだな…

[witchstyle]

(2013/12/08のエントリ) 入力音声の母音をリアルタイムで判定してUnity上で動くMMDモデルをリップシンクさせている ＞ ニコ動の http://www.nicovideo.jp/watch/sm22417577 の解説