非言語マルチモーダルデータを用いた会話構造の分析のための環境構築  [in Japanese] Environment for analysis of conversational structure with non-verbal multimodal data  [in Japanese]

我々は.会話における人のインタラクションを理解するために,インタラクション状況のデータを収録し,分析を行っている.今までの研究では,映像や音声などのデータを同期して扱い,インタラクションを解釈する環境を構築してきた.本研究では,それらに加えてモーションデータや視線方向といった,コンピュータが値を処理できるデータを取り扱い,インタラクションの状況を可視化するための機能を実装した.加えて,収録したデータをその分析環境を用いて分析を行い,その分析環境が有効であることを示した.

To understand interactions in conversations, we record and analyze data of interaction state. We have been developing the environment for handling video and sound data in synchronization, and for annotating interactions. In this study, we implemented the functions for visualizing interaction states with handling such machine-readable data as motion data and sight data. In addition, We analyze some recorded data with the analysis environment to show that the environment is effective.