サウンドカードから入力された音声信号の周波数スペクトルと USBカメラの映像をリアルタイムで合成して表示するソフトを作ってみました。 一般的に音は高い音や低い音が混じりあってできています。 音の波形を時間軸方向で見ただけではどんな音がどれだけ含まれているかを見るのは難しいです。 こうした音声信号にFFT(フーリエ変換)という処理をかけてやると周波数成分に分解することができます。 これをバー・グラフで表示したものが,ミニコンポなどでグラフィカルに動いてるアレです。 「スペクトル・アナライザ」とか呼ばれてますね。 今回はそのバー・グラフとUSBカメラから得られた画像をリアルタイムで合成して表示しています。 マイク入力や,メディアプレイヤーで再生している音楽に反応して動きます。 起動するだけでソフトウェア自体に設定項目は特にありません。 起動時に「このデバイスを使用しますか?」と聞いてくるので,