キーワードを利用した映像音声遠隔コミュニケーション支援システム  [in Japanese] Keyword-based System for Supporting Audiovisual Telecommunication  [in Japanese]

Search this Article

Author(s)

Abstract

テレビ会議で発表者が提示したキーワードを使って,遠隔コミュニケーションを支援するシステムのプロトタイプを構築した.発表者はキーワード・マーカを持って話し,遠隔にいる視聴者はそのキーワードに重ねて付加情報を見る.キーワード・キャプションは外国語学習のためのビデオ学習環境に有効であると考えられるが,遠隔会議など双方向コミュニケーションにも利用できると着想した.プロトタイプ・システムでは,ビデオ映像に含まれる文字情報を抽出して語句として認識し,言語翻訳,三次元モデル提示,音声再生といった付加的機能を提供する.付加情報のコンテンツは,二層ディスプレイを使って現実のシーンに重畳される.提示ツールとしてのWebブラウザの利用は,マルチメディア・データの作成や編集を容易にする.また,情報提示機能を制御する文字マーカの検出にはオープン・ソース・ライブラリARToolkitが利用されるが,日本語の認識にはOCRミドルウエアが実装された.これは,利用するキーワードをマーカとして登録するという作業を軽減する.この支援システムは既存のTV会議システムの映像音声信号を効率的に利用するように設計され,映像音声による遠隔コミュニケーションにおいてキーワード提示によるコミュニケーションの円滑化を図る.

We developed a prototype system to support telecommunications that uses keywords selected by the presenter in videoconference. The presenter holds to show keyword cards, and the listeners at remote sites can see additional information with the keywords. Although keyword captions are considered effective in video learning environments for learning foreign languages, we think they should also be available for interactive communications. Our prototype system recognizes letters and characters in a video image, and provides us with additional functions, such as language translation, 3D model visualization, and audio reproductions. The visual data are overlaid onto the real scene with a multilayered display, using a Web browser as a presentation tool to enable us to easily author/edit multimedia data. Optical character reader (OCR) middleware was implemented into the recognition function for Japanese, and an open-source library, ARToolkit was used to detect the character markers that controlled the functions of the information presentation. The support system is designed to efficiently exploit audiovisual signals of existing videoconferencing systems, so that the telecommunication can be fluent using keywords.

Journal

  • IPSJ SIG Notes

    IPSJ SIG Notes 60, 1-6, 2006-05-31

    Information Processing Society of Japan (IPSJ)

References:  13

Cited by:  1

Codes

  • NII Article ID (NAID)
    110004822670
  • NII NACSIS-CAT ID (NCID)
    AA1155524X
  • Text Lang
    JPN
  • Article Type
    Journal Article
  • ISSN
    09196072
  • NDL Article ID
    7936456
  • NDL Source Classification
    ZM13(科学技術--科学技術一般--データ処理・計算機)
  • NDL Call No.
    Z14-1121
  • Data Source
    CJP  CJPref  NDL  NII-ELS 
Page Top