手話動作の3要素に基づく実時間手話認識 (福祉情報工学) Real-time Sign Language Recognition based on three Elements of Sign Language

この論文をさがす

著者

    • 波多野 美歌 HATANO Mika
    • 名古屋工業大学大学院工学研究科情報工学専攻 Department of Computer Science and Engeneering, Graduaite School of Engeneering, Nagoya Institute of Technology
    • 酒向 慎司 SAKO Shinji
    • 名古屋工業大学大学院工学研究科情報工学専攻 Department of Computer Science and Engeneering, Graduaite School of Engeneering, Nagoya Institute of Technology
    • 北村 正 KITAMURA Tadashi
    • 名古屋工業大学大学院工学研究科情報工学専攻 Department of Computer Science and Engeneering, Graduaite School of Engeneering, Nagoya Institute of Technology

抄録

手話を認識するためには手話動作から特徴抽出を行う必要があるが,視覚言語である手話は複数の構成素から成り立つため,認識対象とする構成素や使用特徴量として様々な組み合わせが考えられる.そのため,使用するセンサや特徴量が個々の研究によって異なり,手話データの汎用化が難しい.このような手話認識における研究背景を踏まえると,センサや使用特徴量に依存しない認識方法を確立することが望ましい.手話は音韻学的に,主に「手の位置」,「手の動き」,「手の形」の3要素から構成されていると言われており,本研究ではこの考えに基づき,センサから得られた特徴量を3要素における抽象化されたパターンに変換し,認識を行う手法を提案する.これにより,各パターンへの変換以降の処理を統一することができ,パターンの組み合わせにより手話単語の認識を行うため,計算コストを大幅に削減し,実時間での認識を可能にする.パターンの抽象化は手話単語辞書である日本手話・日本語辞書システムの表記法に基づいて行う.手話認識の辞書データとして大語彙が収録されているものを採用することで,大語彙認識への発展に期待できる.また,本手法の有効性を検証するために,手話単語の認識実験を行う.手の動きの認識にはHMM,手形状の認識には深度画像によるテンプレートマッチング手の位置の認識には最尤推定法による正規分布を用いる.辞書の表記法に基づいた3要素の認識モデルを用意し,深度センサKinectを用いた,100単語を対象とした実時間での孤立単語認識実験を試みる.

In sign language recognition, an unified recognizing method is necessary because of many methods to capture sign language motion by different sensor devices. We propose a method with abstraction of sign language motion based on three elements of sign language: hand's motion, position, and form. The method enables sign language recognition without depending on feature parameters. Furthermore, it also can handle large vocabulary recognition if we use large vocabulary dictionary to decide rules of abstraction. In this paper, we performed an experiment of sign language words recognition. In this experiment, we used HMM for recognition of moving, template matching of depth image for recognition of form, and the normal distribution learned by maximum likelihood estimation for recognition of position. Based on our proposal method, we prepared recognition models of each element and conducted an experiment of real-time 100 sign language words recognition based on a sign language words dictionary using the depth sensor, Kinect.

収録刊行物

  • 電子情報通信学会技術研究報告 = IEICE technical report : 信学技報

    電子情報通信学会技術研究報告 = IEICE technical report : 信学技報 114(92), 69-74, 2014-06-19

    一般社団法人電子情報通信学会

各種コード

  • NII論文ID(NAID)
    110009925686
  • NII書誌ID(NCID)
    AA1155230X
  • 本文言語コード
    JPN
  • ISSN
    0913-5685
  • NDL 記事登録ID
    025590328
  • NDL 請求記号
    Z16-940
  • データ提供元
    NDL  NII-ELS 
ページトップへ