MSD-HMMによる隠れ領域を考慮した手話動作のモデル化  [in Japanese] MSD-HMM for Occluded Hands in Sign Language Operation  [in Japanese]

Search this Article

Author(s)

    • 酒向 慎司 SAKO Shinji
    • 名古屋工業大学大学院工学研究科情報工学専攻 Department of Computer Science and Engineering Graduate School of Engineering, Nagoya Institute of Technology
    • 北村 正 KITAMURA Tadashi
    • 名古屋工業大学大学院工学研究科情報工学専攻 Department of Computer Science and Engineering Graduate School of Engineering, Nagoya Institute of Technology

Abstract

動画像から手話を認識することは,センサー等の特殊な装置の使用やその身体的拘束を伴わない方法として有効であるが,撮像されている人物から手話の動作特徴を的確に取得する必要がある.しかし,手話動作において,両手が交差することなどよって特徴となる部位が隠れてしまう状況は避けられず,とくに単眼カメラの映像から手動作の軌跡を正確に抽出することは難しいと言える.しかし,そのような状況を回避するために,多数のカメラを用いることは先に述べた装置の特殊化にも繋がる点で問題である.本報告では,特徴部位が隠れることも手話動作の特徴としてとらえるという着想から,手話動作を表す特徴部位の可視状態と不可視状態が混在した一連の現象を説明することができるモデル化方法として,多空間分布に基づいた隠れマルコフモデル(multi-space distribution hidden Markov model: MSD-HMM)を適用した手法を提案する.手話単語データべースを用いた実験によって,MSD-HMMによるモデル化が機能していることを示し,単語認識実験によってその有効性を確認するとともに,今後の課題について述べる.

In sign language recognition system, there are two main methods for capturing hands movement from signers. The first one is generally called the motion capture method which uses special sensors (e.g. CyberGlove[○!R]) capture the movement of the signer. The second one, which is called image-based approach relies on videos of signers to capture signs. In this paper, We adopt the second approach. While image-based approach has some advantages against sensor-based approach, it is difficult to overcome occlusion problems. Hidden Markov Model (HMM) have been widely used in sign language recognition. Also, in the field on speech recognition and speech synthesis, HMM have been used for acoustic modeling. In speech synthesis domain, Multi-space probability HMM (MSD-HMM) have been proposed as an extension of HMM that includes discrete and continuous HMM. We adopt MSD-HMM technique in order to overcome occlusion problems. This paper describes to use multi-space probability distribution (MSD) to model occluded hand positions jointly with visible hand positions. Experimental result obtained in Japanese sign language recognition indicate MSD provided almost equal to word recognition accuracy across conventional HMM method using interpolated trajectory of hand positions.

Journal

  • IEICE technical report

    IEICE technical report 109(467), 37-42, 2010-03-05

    The Institute of Electronics, Information and Communication Engineers

References:  14

Codes

  • NII Article ID (NAID)
    110007863073
  • NII NACSIS-CAT ID (NCID)
    AA1155230X
  • Text Lang
    JPN
  • Article Type
    ART
  • ISSN
    09135685
  • NDL Article ID
    10649601
  • NDL Source Classification
    ZN33(科学技術--電気工学・電気機械工業--電子工学・電気通信)
  • NDL Call No.
    Z16-940
  • Data Source
    CJP  NDL  NII-ELS 
Page Top