Real-time Audio to Score Alignment Using a Hybrid Hidden Semi-Markov Model and Linear Dynamical System

• 山本 龍一

• 酒向 慎司

• 北村 正

Bibliographic Information

Other Title

• 隠れセミマルコフモデルと線形動的システムを組み合わせた音楽音響信号と楽譜の実時間アライメント手法

Abstract

本稿では，楽譜に基づく音楽音響信号から，演奏位置とテンポを推定する問題について論じる．隠れセミマルコフモデル （HSMM） に基づく演奏位置推定と，線形動的システム （LDS） に基づくテンポ推定を組み合わせることで，入力信号の未来の情報が使えない制約の元で効果を発揮する実時間拍予測アルゴリズムを提案する．具体的には，遅延を許容して信頼性のある演奏位置を推定し，テンポを用いて現在位置を予測する．クラシック音楽およびジャズ音楽データベースを用いてオンセット検出に関する評価実験を行った結果，提案する実時間拍予測アルゴリズムを用いることで，許容誤差 300ms において約 15% 精度が向上することが確認された．In this paper, we propose a real-time audio to score alignment method which jointly estimates performer's beat position and continuous tempo based on a Hidden Semi-Markov Model (HSMM) and Linear Dynamical System (LDS). Also, we propose an effective on-line beat prediction algorithm with the use of two optimal algorithm of HSMM based beat estimation and LDS based tempo estimation which performs well in the real-time setting. More specifically, a reliable beat position is estimated for some delay and then current beat position is predicted using tempo. Experimental results on the audio onset detection task for piano database of classical music and jazz music database showed that our method obtained 15% higher results within 300ms tolerance compared to the method with no use of our beat anticipation algorithm.

Journal

• 研究報告音楽情報科学（MUS）

  研究報告音楽情報科学（MUS） 2012 (13), 1-6, 2012-08-02

Details

• CRID: 1570291227982556288
• NII Article ID: 110009432480
• NII Book ID: AN10438388
• Text Lang: ja
• Data Source:
  • CiNii Articles