音声対話コーパスにおける画像情報のアノテーション手法の検討  [in Japanese] Annotation of Gestures and Transcription for Speech Dialogues  [in Japanese]

本論文では、日本語地図課題対話コーパスで用いられた音声の書き起こし手法を拡張し、ジェスチャー情報を音声現象との時間的関係において表現するアノテーション手法を提案する。また、データの交換用として、それらをTEI形式で表現する手法を提案し、記述する。さらに、予備的検討として、うなづき、視線一致などが数多く生じることが期待されるディベート課題による対話と共通の話題による自由対話の収録を行ない、本アノテーション手法を適用した。

In this paper, we will introduce an annotation method for describing gestures made by speakers in speech dialogues in termas of their relationship in time. This method is based on the transcribing method in Japanese Map Task Dialogue Corpus. Equivalent information to the annotation of transcription and gestures represented by this method can be also represented in the TEI P4 format for data exchange between other researchers. As a preliminary investigation, we annotated the two new recorded dialogues between a pair of good friends;one is a debate about the theme which they have different opinions and another is a free talk about the event when they met first.