楽譜情報を用いた高時間分解能Audio-to-MIDI変換

• 保利, 武志

• 中村, 和幸

• 嵯峨山, 茂樹

書誌事項

タイトル別名

• High-Time-Resolution Audio-to-MIDI Conversion Exploiting Music Score Information

抄録

本稿は，音楽音響信号に対し，高時間分解能で音楽特徴量（オンセット時刻，音長）を詳細に推定し，MIDI信号へと変換する手法について述べる．多重音からなる音楽音響信号に対する音楽特徴量の抽出は音楽情報科学分野においてきわめて重要な要素技術であり，演奏解析だけでなく自動演奏や作曲など幅広い音楽活動に寄与できる．特に演奏者の個性（演奏モデル）を獲得するためには，微細な演奏変化をとらえうる高時間分解能な解析が必要とされており，またビッグデータ活用も視野に入れる場合，実演奏に対する詳細な解析の自動化が望まれている．本研究では，演奏者は楽譜どおりに演奏しているという仮定のもと，詳細解析のための多重時間分解能解析手法を提案する．音楽音響信号に対し高周波数分解能にチューニング補正および楽譜情報全体とのマッチングをとり，そのタイムアライメント情報を事前情報として，フレームレベル，波形領域レベルへと時間分解能を上げながらリファインする．また，楽譜との詳細アライメントと音高パターンから逐次解析範囲を限定し，打鍵された音の基本周波数を分離可能な周波数分解能下限を計算することで，リファインされた音楽特徴量を事前分布パラメータとしたベイズモデルによる高時間分解能な音楽特徴量抽出を実現する．評価実験の結果，和音打鍵時のオンセット時刻の揺れの検出に有効であること，また音長に対してもロバストな推定が可能であることが示され，本稿で提案する多重時間分解能解析に基づく演奏の詳細解析への有効性が示唆された．

In this paper, we discuss a method for score-informed audio-to-MIDI conversion, which is aimed at high-time-resolution analysis for music performances. High-time-resolution analysis of music audio signals is expected to be useful for modeling music performance, which is required in automatic performance rendering systems, automatic composition systems, and music information retrieval. Performed music is characterized by fine deviations of music features (changing tempo, asynchronous chord onset timings, varying dynamics and note durations) from the written score, with which musicians increase the expressiveness of their performance. We present a method for precise multi-pitch analysis which is based on the assumption that a music performer plays notes according to a musical score. The algorithm first coarsely estimated note onset times based on matching with the score and then uses this time alignment information as a prior to precisely estimate onsets from high time-resolution spectra and the waveform domain. Based on the music score and its precise time alignment, we can determine the lowest frequency-resolution that still allows to discern the lowest notes that occur at a given position in the music piece, which in turn allows to compute the highest usable time-resolution. The obtained onset and alignment information is used as prior in a Bayesian model to estimate music performance features in high time-resolution. Experimental results showed the effectiveness of our proposed approach to precise music performance analysis, especially, the asynchronous chord onset timings can be also identified in high time resolution.

収録刊行物

• 情報処理学会論文誌

  情報処理学会論文誌 60 (11), 2034-2047, 2019-11-15

キーワード

• [特集：エンタテインメントコンピューティング] 演奏詳細解析，Onset detection，Auto-tuning，HSMM，NMF，階層ベイズ

詳細情報

• CRID: 1050282813850839680
• NII論文ID: 170000180830
• NII書誌ID: AN00116647
• ISSN: 18827764
• Web Site: http://id.nii.ac.jp/1001/00200587/
• 本文言語コード: ja
• 資料種別: journal article
• データソース種別:
  • IRDB
  • CiNii Articles
  • KAKEN