ズームアップ撮影による高精細3次元ビデオ生成のためのパン・チルトカメラワーク(一般セッション3,コンピュータビジョンとパターン認識のための学習理論)  [in Japanese] Zoom-In Pan-Tilt Camera-Work for High-Fidelity 3D Video  [in Japanese]

無形文化財のデジタルアーカイブを行うために,本研究では複数台のカメラで対象を撮影するだけで対象の形状とテクスチャの3次元情報が得られる3次元ビデオという情報メディアを用いる.従来の3次元ビデオでは,常に動く撮影対象の全身を全てのカメラが完全に捉えられるまでズームアウトし,カメラを静止させていた.しかし,この従来手法では全てのカメラが対象の全身を完全に捉える必要性により各カメラに対してズーム制限が生じる.その結果,撮影画像の高精細化に上限が発生してしまうという欠点を有する.そこで,本研究では従来よりもズームアップ撮影をすることで対象の一部分のみを捉えたカメラを能動的にパン・チルト回転させることで対象全身の形状の正確さの低下を抑制しつつ対象全身の高精細画像を取得する手法に着目する.それにより,従来よりも高品質な3次元ビデオを作成することを目的とする.本稿では(1)実環境下で動的な対象をズームアップ撮影するためのシステム構築,(2)そのシステムを用いてどのカメラが対象のどの部分を撮影するかを決定する手順であるカメラワーク決定手法について述べる.

In this paper, we propose a real-time human-body shooting system with zoom-in pan-tilt cameras. The task of the system is to observe the whole body of a moving person as detail as possible for making high-fidelity 3D video with high-resolution shape and texture. With a zoom-in camera, the high-resolution image of only a part of the body can be captured. The system must therefore control each camera towards a body-part that can be captured well by the camera so that the whole body is captured by all the cameras. We developed the following camera architecture and camera assignment algorithm: (1) a pan-tilt camera architecture in which its pan-tilt angle and capturing timing are fully synchronised and (2) the target body-part of each camera is determined so that 3D reconstruction errors in the whole body are suppressed as much as possible. Experimental results with our prototype system demonstrated that the system could capture the whole body of a moving/dancing person and the resolution of captured videos was much better than that captured by fixed zoom-out cameras.