自由視点画像生成における残差信号の予測方式(一般セッション,映像ハンドリング技術とその応用)  [in Japanese] Residual Prediction for Free Viewpoint Image Generation  [in Japanese]

本稿では直線上にカメラを並べ撮影した多視点画像を用い,自由視点の画像を生成する方法を提案する.自由視点の画像生成を行うためには,各視点の奥行きを計算する必要がある.奥行き推定の最適化は様々な手法が提案されているものの,テクスチャーの少ない領域や複雑な幾何を持つシーンでは奥行きの正確な推定は困難である.そこで本稿では,奥行き情報に誤りがあることを想定し,画像生成の際に現れる残差を事前に予測し,それを補正することで,生成画像の画質を向上させる方法を提案する.

We propose a free viewpoint image generation method that uses multi-view images acquired from the linear camera arrangement. It is necessary to estimate depth maps of each viewpoint for generating free viewpoint images. Some optimization algorithms were proposed, but it is difficult to estimate accurate depth map in the scene with complex geometry or few texture. We propose a method that improves the quality of the generated image by using residual error prediction, where it is assumed that there are some errors in the depth map.