東京大学、動画に含まれる画像や音からニューラルネットワークを用いて適切な触覚情報を推定するモデル「VibVid」を論文にて発表 2017-12-27 東京大学 篠田・牧野研究室の研究者らは、動画に含まれる画像や音から機械学習を用いて適切な触覚情報を推定し視聴者に提供するモデル「VibVid」を論文にて発表しました。 VibVid: VIBration Estimation from VIDeo by using Neural Network (左図:テニスの画像、音、加速度を記録するためのデバイスを装着した様子。右図:手に触覚が得られるラケットを持ち体験する実験中の被験者。) 本稿では、画像フレームと音データを含むビデオから適切な加速度を推定し、視聴者に正確な振動触覚を与える事でより質の高い視聴体験を提供するニューラルネットワークモデルを提案します。 一例として、テニスの一人称視点ビデオか
