先週に引き続いて、Kinect Fusionを使ったAR(拡張現実)機能の実装を進めています。 新たに取り組んだ課題は以下の3つです。 1)赤外線カメラとRGBカメラの同期をとる 2)現実世界の物体で3Dモデルを隠す 3)3Dモデルの影を現実世界に投影する 前回の動画では3Dモデルとカメラ映像の動きがあまり合ってなくて、いまいち一体感に欠けていましたが、今回手を入れた結果、かなりよくなりました。 以下、技術的なお話。 1)赤外線カメラとRGBカメラの同期をとる 3Dモデルの動きとRGBカメラの映像にズレがあったので、赤外線カメラの映像とRGBのカメラの映像をテクスチャに書くタイミングをあわせました。具体的には、それぞれの映像が異なるタイミングでKinect SDKから渡ってくるので、RGBカメラの映像が渡ってきたときにはそれを別領域(オフスクリーンプレーン)に書き込