ジェスチャインタフェースのための指先動作軌跡の統計的分割と正規化(信号処理,知的マルチメディアシステム,及び一般)  [in Japanese] Statistical Segmentation and Normalization of Trajectories of Finger-Tip Movements for a Gesture Interface  [in Japanese]

本研究では,ジェスチャの中でも特に指先の動きに注目したジェスチャインタフェースの実現を目指し,その一例として,空中に指先で閉図形を描くことで入力領域を確保し,その内部を2×2のボタンの並びと見なして,それらを仮想的に押すことで入力を行う仮想ボタン入力インタフェースを考えた.三次元位置センサを用いて指先の動作軌跡を収録し,主成分分析および曲率・速度を用いた動作軌跡の単純動作への分割と,主成分分析およびアフィン変換を用いたジェスチャ動作方向と大きさに対する正規化を行った.HMMによる連続数字入力の認識実験を行った結果,正規化前の認識率60.0%に対して,正規化後では91.3%の認識率が得られた.

This paper presents a virtual push-button interface created by drawing a shape or line in the air with a fingertip. As an example of such a gesture-based interface, we developed a four-button interface for entering multi-digit numbers by making pushing gestures within an invisible 2x2 button matrix inside a square drawn by the user. Trajectories of the fingertip movements entering randomly chosen multi-digit numbers are captured with a 3D position sensor mounted on the tip of the forefinger. We propose a statistical segmentation method for the trajectory of movements and a normalization method, associated with direction and size of gestures. The performance of the proposed method is evaluated in HMM-based gestures recognition. Recognition rate of 60.0% was improved to 91.3% after applying the normalization method.