ピクセルベースアプローチによるHMMに基づいた唇動画像の生成 Pixel-based Lip Movement Synthesis using HMMs

この論文をさがす

著者

抄録

隠れマルコフモデル(HMM)に基づき,任意の入カテキストから実画像に近い唇動画像を生成するシステムを提案する.我々がこれまでに提案してきたHMMに基づく音声合成法により,高品質なテキスト音声合成システムが実現されているが,これと同一の枠組みを,ピクセルベースの唇画像生成に適用する.音素単位でモデル化された唇動画像HMMを連結し,尤度最大化基準によりHMMの各状態から最適な画像系列を求める.この際,静的特徴量(唇の形状)のみでなく,動的特徴量(唇の動き)を考慮することにより,なめらかに変化する唇動画像を合成することができる.本研究では,新たに作成した日本語連続文章による大規模な唇動画像データベースを用いて,唇動画像合成システムを構築した.任意の入力テキストから合成された唇動画像では,実写画像に近い唇の動きを確認することができた.

This paper describes a pixel-based approach for synthesizing lip image sequence from an arbitrarily given text using Hidden Markov Model (HMM). In the training stage, context-dependent lip HMMs are trained and a decision tree based clustering technique is applied to them. To synthesize a lip movement, a sentence HMM is constructed by concatenating HMMs corresponding to the transcription for the given text. Then an optimun lip image sequence is obtained from the sentence HMM by using a maximum likeifood criterion. Experimental results show that the synthetic lip image sequence is smooth and realistic.

収録刊行物

  • 電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解

    電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 99(450), 55-60, 1999-11-20

    一般社団法人電子情報通信学会

参考文献:  14件中 1-14件 を表示

被引用文献:  1件中 1-1件 を表示

各種コード

  • NII論文ID(NAID)
    110003276103
  • NII書誌ID(NCID)
    AN10541106
  • 本文言語コード
    JPN
  • 資料種別
    ART
  • ISSN
    09135685
  • NDL 記事登録ID
    4934286
  • NDL 雑誌分類
    ZN33(科学技術--電気工学・電気機械工業--電子工学・電気通信)
  • NDL 請求記号
    Z16-940
  • データ提供元
    CJP書誌  CJP引用  NDL  NII-ELS 
ページトップへ