コンピュータビジョンで物体検出や追跡を行う場合、当然のことながら学習データというのをある程度用意しなくてはいけません。具体例としてはOpenCVのHaarClassifierCascadeで物体検出するための検出器を訓練するとき、訓練画像をたくさん集めて、その対象となる物体がその画像のどこにあるのかを記述したテキストファイルを作らなくちゃいけません。 詳しくは、ここら辺を参考にしてください。 http://gihyo.jp/dev/feature/01/opencv/0004 また、作った物体検出器やトラッキング用プログラムが正しく位置を検出しているかを評価するために、あらかじめ正解データというのを作っておいてそれに対して評価をする必要があります。この正解データというのがやっぱり画像を集めて、それに対してその物体の位置というのをいちいち人間が手動で調べて、なんらかの外部ファイルとしてその座