タグ

ブックマーク / zenn.dev/mochineko (1)

  • VOICEVOXのAudioQueryを利用した音声合成に対する非音声ベースのLipSyncシステム

    モチベーション 「LipSync」で検索をすると、音声を解析して2D/3Dのモデルの口の形状を発話の音声と同期させる話が出てくると思います。 LipSyncが必要になるケースは、リアルタイムにマイクなどで収音した音声をベースに口を動かしたい場合(VTuberのLive2DやVRSNSアバター)や、事前に収録した音声に細かい調整をせずに直接アニメーションを生成したい場合などがほとんどだからでしょう。 そのため、そのようなユースケースを想定した音声解析ベースのライブラリやアセットがほとんどです。 ところで、ChatGPTAPIで生成した会話のテキストは、VOICEVOXなどの音声合成サービスを利用することで音声データに変換し利用することができます。 この場合、音声ではなくリアルタイムに生成されるテキストをベースにLipSyncをしたい、という上記とは異なる需要があります。 もちろん音声合成

    VOICEVOXのAudioQueryを利用した音声合成に対する非音声ベースのLipSyncシステム
  • 1