MSD-HMMによる隠れ領域を考慮した手話動作のモデル化 MSD-HMM for Occluded Hands in Sign Language Operation

この論文をさがす

著者

    • 酒向 慎司 SAKO Shinji
    • 名古屋工業大学大学院工学研究科情報工学専攻 Department of Computer Science and Engineering Graduate School of Engineering, Nagoya Institute of Technology
    • 北村 正 KITAMURA Tadashi
    • 名古屋工業大学大学院工学研究科情報工学専攻 Department of Computer Science and Engineering Graduate School of Engineering, Nagoya Institute of Technology

抄録

動画像から手話を認識することは,センサー等の特殊な装置の使用やその身体的拘束を伴わない方法として有効であるが,撮像されている人物から手話の動作特徴を的確に取得する必要がある.しかし,手話動作において,両手が交差することなどよって特徴となる部位が隠れてしまう状況は避けられず,とくに単眼カメラの映像から手動作の軌跡を正確に抽出することは難しいと言える.しかし,そのような状況を回避するために,多数のカメラを用いることは先に述べた装置の特殊化にも繋がる点で問題である.本報告では,特徴部位が隠れることも手話動作の特徴としてとらえるという着想から,手話動作を表す特徴部位の可視状態と不可視状態が混在した一連の現象を説明することができるモデル化方法として,多空間分布に基づいた隠れマルコフモデル(multi-space distribution hidden Markov model: MSD-HMM)を適用した手法を提案する.手話単語データべースを用いた実験によって,MSD-HMMによるモデル化が機能していることを示し,単語認識実験によってその有効性を確認するとともに,今後の課題について述べる.

In sign language recognition system, there are two main methods for capturing hands movement from signers. The first one is generally called the motion capture method which uses special sensors (e.g. CyberGlove[○!R]) capture the movement of the signer. The second one, which is called image-based approach relies on videos of signers to capture signs. In this paper, We adopt the second approach. While image-based approach has some advantages against sensor-based approach, it is difficult to overcome occlusion problems. Hidden Markov Model (HMM) have been widely used in sign language recognition. Also, in the field on speech recognition and speech synthesis, HMM have been used for acoustic modeling. In speech synthesis domain, Multi-space probability HMM (MSD-HMM) have been proposed as an extension of HMM that includes discrete and continuous HMM. We adopt MSD-HMM technique in order to overcome occlusion problems. This paper describes to use multi-space probability distribution (MSD) to model occluded hand positions jointly with visible hand positions. Experimental result obtained in Japanese sign language recognition indicate MSD provided almost equal to word recognition accuracy across conventional HMM method using interpolated trajectory of hand positions.

収録刊行物

  • 電子情報通信学会技術研究報告. WIT, 福祉情報工学

    電子情報通信学会技術研究報告. WIT, 福祉情報工学 109(467), 37-42, 2010-03-05

    一般社団法人電子情報通信学会

参考文献:  14件中 1-14件 を表示

各種コード

  • NII論文ID(NAID)
    110007863073
  • NII書誌ID(NCID)
    AA1155230X
  • 本文言語コード
    JPN
  • 資料種別
    ART
  • ISSN
    09135685
  • NDL 記事登録ID
    10649601
  • NDL 雑誌分類
    ZN33(科学技術--電気工学・電気機械工業--電子工学・電気通信)
  • NDL 請求記号
    Z16-940
  • データ提供元
    CJP書誌  NDL  NII-ELS 
ページトップへ