発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇

• 齊藤 剛史

  九州工業大学大学院情報工学研究院

• 森下 和敏

  鳥取大学大学院工学研究科

• 小西 亮介

  鳥取大学大学院工学研究科

書誌事項

タイトル別名

• Keyframe Extraction from Utterance Scene and Keyframe-based Word Lip Reading
• ハツワ シーン カラ ノ キーフレーム ケンシュツ ト キーフレーム ニ モトズク タンゴドクシン

抄録

In this paper, we propose the new keyframe-based lip reading method which does not need the advanced registration of an utterance scene. To extract keyframe, we apply the frame subtraction method and extract frame which the difference value is the local minimum as the keyframe. We compute thirteen shape features from the five lip regions of the extracted keyframe. Then we apply a discriminant analysis to mouth shape recognition. We generate a code sequence based on a mouth shape recognition result. Moreover, in accordance with several rules, we generate candidate code sequences. Finally, we apply DP matching using two kinds of code sequence of based on keyframe and candidate, and select the similar code sequence as the result word. We set Japanese 19 words as the target. We took four speakers' utterance scene. We carried out three experiments of the keyframe extraction, the mouth shape recognition, and the word recognition. As a result, we obtained average recognition rate of 53.9%. Although there was individual difference, one speaker obtained 72.1% of the highest recognition rate.

収録刊行物

• 電気学会論文誌Ｃ（電子・情報・システム部門誌）

  電気学会論文誌Ｃ（電子・情報・システム部門誌） 131 (2), 418-424, 2011

  一般社団法人 電気学会

キーワード

• 読唇
• キーフレーム検出
• 口形認識
• 単語認識

詳細情報

• CRID: 1390001204608943232
• NII論文ID: 10027804091
• NII書誌ID: AN10065950
• DOI: 10.1541/ieejeiss.131.418
• ISSN: 13488155
• ISSN: 03854221
• NDL書誌ID: 10952974
• Web Site: https://ndlsearch.ndl.go.jp/books/R000000004-I10952974
• Web Site: https://www.jstage.jst.go.jp/article/ieejeiss/131/2/131_2_418/_pdf
• 本文言語コード: ja
• データソース種別:
  • JaLC
  • NDL
  • Crossref
  • CiNii Articles
  • KAKEN
• 抄録ライセンスフラグ: 使用不可