音楽共演ロボット：開始・終了キューの画像認識による人間のフルート奏者との実時間同期

情報処理学会 Web Site

書誌事項

タイトル別名
  • 音楽共演ロボット:開始·終了キューの画像認識による人間のフルート奏者との実時間同期
  • オンガク キョウエン ロボット:カイシ · シュウリョウ キュー ノ ガゾウ ニンシキ ニ ヨル ニンゲン ノ フルートソウシャ ト ノ ジツ ジカン ドウキ
  • Musical Robot Co-Player: Real-time Synchronization with a Human Flutist Recognizing Visual Start and End Cues

この論文をさがす

抄録

聞く，見るは，共演者が仲間の演奏者とテンポを合わせて演奏するために重要なスキルである．画像キュー（cue，合図）を検知し，他の演奏者に耳を傾けることによって，演奏者はいっせいに演奏を始め，テンポの緩急の合図に合わせ，さらに，いっせいに演奏を終えることができる．本稿では，人間のフルート奏者がアンサンブルリーダを担い，ロボットは伴奏者として人間の演奏に追従する問題を扱う．まず，フルート奏者の3種類のジェスチャを提案し，画像キューによる認識，音響ビートと画像キューとの統合によるテンポ推定について述べ，テルミン演奏共演ロボットのジェスチャ認識について報告する．初期実験で3タイプの画像キューが83%以上で検出できること，また，画像キューと音響ビート検出とを組み合わせることにより，テンポ検出が0.5秒以内に行えればビート追跡が安定することが分かった．この結果，フルート奏者の指示に合わせて共演者音楽ロボットがテルミンを演奏し，歌を歌うことが可能となった．

Listening and watching are important skills for co-players to play in time with fellow musicians. By detecting visual cues and listening to other players, musicians can start together, stop together, and follow a leader's visual cues of changes in tempo. In this paper, we formalize three visual cues for the case of flutists, and describe how our thereminist robot co-player system detects them. Initial experiments show over 83% detection rates for our 3 types of visual cues. Additionally, by coupling visual cues and acoustic beat detection, the robot can extract a tempo in half a second. The resulting robot co-player can play theremin and sing a song with the lead of a human flutist.

収録刊行物

関連プロジェクト

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ