NVIDIAの音声入力から3D顔面モデル・アニメーションを駆動させる機械学習ベースの技術がSIGGRAPH 2017にて採択
NVIDIAの音声入力から3D顔面モデル・アニメーションを駆動させる機械学習ベースの技術がSIGGRAPH 2017にて採択 2017-05-24 NVIDIAが開発する機械学習を用いたオーディオ駆動の3Dフェイシャル・アニメーション技術がSIGGRAPH 2017にて採択されました。論文はこちら（PDF）。 本提案は、俳優の音声入力から話すスタイルを3Dモデル化し、表情含め動的に低レイテンシおよびリアルタイムに動作させることを可能にします。 本提案で同社が用いる機械学習技術ディープニューラルネットワークは、音声の入力波形から顔モデルの3D頂点座標へのマッピングを学習し、と同時にオーディオだけでは説明できない表情の変化も推論し明確にします。 性別、アクセント、言語が異なる多様なスピーカーの音声で駆動しても合理的な結果をもたらしました。 説明映像はこちら。 関連 アクター（俳優）とキャラクタ
音声処理で参考になったサイトまとめ - Qiita
これなあに？ 先週は強化学習の勉強会をしました。 今週は音声処理の勉強会をやるぞということになって僕はまた焦って資料をかき集めました。 この記事は音声処理の勉強会を行うにあたって、参考になったサイト、もしくは情報をまとめたものです。 勉強会で共有するために作ったけどせっかくだしあげておくことにしました。 読んだ感想や要点なんかも簡単にまとめれたらと思います。 特に参考になった記事、重要だと思った記事には★マークをつけておきます。 僕自身が音声処理初心者ということ、短い時間でまとめたことから誤りや不適切な点があるかもしれません。 その場合は指摘していただけると幸いです。 理論解説 基礎の基礎を勉強する勉強会だったので入門記事多め。 あんまりちゃんと読んでないものもあります…。 音声の音響分析の「いろは」～初めて音声波形を見る方へ～★ 東京大学の授業のスライド？ そもそも"音"や"声"はどのよ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
