NEC、オーケストラから1つの楽器だけを聴く技術を開発デモンストレーションは5人の会議で行なわれた。会議の様子をビデオで撮影しつつ、28個の小型マイクを内蔵した試作マイクで録音する。録音した音声には5人の声が混在しているが、「独立成分分析」という処理を用いて、時間変化する音響信号の周波数と位相の変化を考慮して分析。5人の声に分離できるまで演算処理を繰り返し、別々の音声信号として出力する。 さらに、映像から顔認識技術を使い、喋っている人の位置を推定。28個の小型マイクに届いた音の違いを処理することで、音がした方向も判断できるため、認識した人物と、その人物がいる場所から届いた声をマッチングできる。これを統合処理することで、会議中の5人の中から1人を選ぶと、その1人の音声と映像がクローズアップされ、他の人の会話音量が低下。その1人が何を話しているかが明瞭に聴き取れるという。 音声の分離は、喋り方などから個人を認識しているのではなく、あくまで周波数の
