説明行為の質の推定に向けた会話者のマルチモーダル情報モデリング

DOI Web Site
  • 岡田 将吾
    東京工業大学大学院総合理工学研究科 知能システム科学専攻
  • 米 航
    東京工業大学大学院総合理工学研究科 知能システム科学専攻
  • 新田 克己
    東京工業大学大学院総合理工学研究科 知能システム科学専攻

書誌事項

タイトル別名
  • A multimodal modeling for predicting the performance of storytelling
  • セツメイ コウイ ノ シツ ノ スイテイ ニ ムケタ カイワシャ ノ マルチモーダル ジョウホウ モデリング

この論文をさがす

抄録

<p>We present a multimodal analysis of storytelling performance in group conversation as evaluated by external observers. A new multimodal data corpus, including the performance score of participants, is collected through group storytelling task. We extract multimodal features regarding explanators and listener from a manual description of spoken dialog and from various nonverbal patterns. We also extract multimodal co-occurrence features, such as utterance of explanator overlapped with listener's back channel. In the experiment, we modeled the relationship between the performance indices and the multimodal features using machine learning techniques. Experimental results show that the highest accuracy is 82% for the total storytelling performance (sum of score of indices) obtained with a combination of verbal and nonverbal features in a binary classification task.</p>

収録刊行物

詳細情報 詳細情報について

問題の指摘

ページトップへ