RNNPBによる視聴覚情報変換を利用したロボットの身体・音声表現 Gesture and Sound Generation of Robot based on Cross-Modal Translation using Recurrent Neural Network with Parametric Bias

この論文をさがす

著者

抄録

本論文は,神経回路モデルを利用したマルチモーダル変換手法を提案し,これを用いた映像からの音響信号生成と音響信号からのロボットジェスチャ生成の結果について報告する.マルチモーダル変換実現に際し,実環境の視聴覚信号全て構造的に保有するデータベースを作ることは不可能であるため,情報の汎化能力が不可欠となる.そこで我々は高い汎化能力を有するRNNPBと呼ばれる神経回路モデルを採用した.本手法を小型ロボットKeeponに導入し,実験を行った.箱状物体を用いて摩擦音・衝突音を生じる,4種類のイベントをKeeponに学習させた結果,既知イベントの映像・音響信号の変換だけでなく,未知イベントの映像・音響信号変換も実現した.

This paper proposes cross-modal mapping for a robot system to generate motions expressing auditory signals caused by the movements of objects and vice-versa. Since all correspondences between auditory signals and visual signals in the world are hard to memorize, the ability to generalize is indispensable. We adopted a neural circuit model called RNNPB, which has good generalization ability, for the learning model. We implemented the proposed system on the robot "Keepon." We taught it four kinds of events with the sounds of collision by manipulating a box object. Keepon behaved not only from learned events but also from unknown events. It could also generate various sounds according to observed motions.

収録刊行物

  • 電子情報通信学会技術研究報告

    電子情報通信学会技術研究報告 106(298), 27-32, 2006-10-19

    一般社団法人電子情報通信学会

各種コード

  • NII論文ID(NAID)
    110004851871
  • NII書誌ID(NCID)
    AN10091225
  • 本文言語コード
    JPN
  • ISSN
    09135685
  • NDL 記事登録ID
    8539478
  • NDL 雑誌分類
    ZN33(科学技術--電気工学・電気機械工業--電子工学・電気通信)
  • NDL 請求記号
    Z16-940
  • データ提供元
    NDL  NII-ELS 
ページトップへ