ニコニコ動画で初音ミクなどのMMD(MikuMikuDance)キャラクターと音声で対話できるシステム「MMDAgent」を発表した名古屋工業大学が、CEATEC会場でデモを行っている。開発を担当した名古屋工業大学国際音声技術研究所の徳田恵一教授、李晃伸准教授、大浦圭一郎特任助教に話を聞いた。 MMDAgentはこう記述する ITmedia デモを見せてもらいましたが、最初の質問の回答が出る前に別の質問をしてもうまく対応できるんですね。 徳田教授 音声対話システムでは割り込みができず、命令が終わるまでじっと待っていなければならないものが多いのですが、MMDAgentは音声認識エンジンも自分たちで開発している(李准教授のJulius)ので、システム全体を密結合して割り込みをかけたりということも自在にできます。 ITmedia 対話のシステムはどのように構築するのですか。 李准教授 スクリプト
画面に話しかけると3Dの初音ミクがエージェントとなって答えたり踊ったりする――そんな技術が話題を呼んでいる。 名古屋工業大学国際音声技術研究所(代表:徳田恵一教授)では、内部で開発してきた音声合成ツール、音声認識エンジンや3D技術を用い、音声による指示にキャラクターがモーションと音声付きで応答する音声インタラクションシステム構築ツールキット「MMDAgent」を「CEATEC Japan 2010」(10月5日から、千葉・幕張メッセ)で展示する。9月21日夕方にニコニコ動画で展示内容ムービーを公開し、一夜で再生数2万を超える人気を得ている。 名古屋工業大学といえば、楽譜を入力するだけで自然な歌声で歌い上げる歌声合成技術「Sinsy」が昨年末にニコニコ動画で発表されて話題となった。MMDAgentにはこれと共通する技術基盤が使われている。 MMDAgentで使われているテキスト音声合成技術の
まずはこの動画を見て欲しい:【MMDAgent】初音ミクとおしゃべりできるソフトをつくってみた(はてなブックマーク)。コイツが何かと言いますと、名古屋工業大学開発による音声認識ソフトで音声入力した命令に従って、3DモデリングされたCGのキャラクターがアクションをとる音声対話システムのソフトウェアツールキットです。 メインになるのは名工大の独自研究である音声認識システムだが、どうやらこの部分も含めてオープンソースで公開されるらしい。音声合成の方はしゃべりがメインなのでVOCALOIDではなくオープンソースの音声合成システムOpen JTalkを使っているとのこと。これも音響データを入れ替えることでいろんな声でしゃべれる模様。 そして特筆すべきなのは、3DモデリングされたCGのキャラクターにMikuMikuDanceのモデルを使えると言うこと。どうも説明を聞く限り、リアクションにMMDのモーシ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く