Unisoner:様々な歌手が同一楽曲を歌ったWeb上の多様な歌声を活用する合唱制作支援インタフェース  [in Japanese] Unisoner: An Interface for Derivative Chorus Creation from Various Voices Singing the Same Song on the Web  [in Japanese]

Access this Article

Search this Article

Abstract

本論文では,Web上で公開されている「1つの楽曲を様々な歌手が歌った歌声」から,合唱と呼ばれる作品を制作するためのインタフェースUnisonerを提案する.従来,このような合唱制作では,伴奏を抑制した各歌声波形を楽曲のフレーズごとに切り貼りし,音量の大小や左右のバランスを調整したうえで重ね合わせる必要があり,時間と労力がかかっていた.それに対してUnisonerでは,歌詞に基づいた楽曲内位置の指定と,歌手アイコンのドラッグアンドドロップ操作に基づいた音量調整を可能とするインタフェースによって,直感的かつ効率的に合唱を制作することができる.さらに,歌声のF0(基本周波数)とMFCC(Mel Frequency Cepstral Coefficient)に基づいた音響的な類似度や,MFCCに基づいた歌手性別の推定結果に加え,再生数などのWeb上のメタデータを活用した歌手検索機能も持つ.このような機能を実現するためには,伴奏をともなう歌声のF0推定手法や,歌声と歌詞のアラインメント手法が必要となるが,それらの推定結果に誤りが含まれることが問題となる.そこで本論文では,誤りを含む単一の歌声からの推定結果に対し,複数の歌声の推定結果を統合して誤りを削減する手法を提案する.評価実験の結果,Unisonerによって合唱制作時間が短縮されること,提案手法によりF0推定と歌詞アラインメントにおける誤りが減少することを確認した.

This paper proposes Unisoner, an interface for assisting the creation of derivative choruses, in which voices of different singers singing the same song are overlapped on top of one shared accompaniment. In the past, it was time-consuming to create such choruses because creators had to manually cut and paste vocal fragments from different singers, and then adjust the volume and panning of each voice. Unisoner enables users to perform such editing tasks efficiently by selecting phrases using lyrics and by dragging and dropping the corresponding icons onto a virtual stage. Moreover, Unisoner can search vocals with acoustic similarity based on F0 and MFCC, estimated gender, and metadata such as the number of views. We use a vocal F0 estimation technique from polyphonic audio signals, and a technique to synchronize audio signals with lyrics. However, estimation errors occur using conventional techniques for F0 and lyric alignment, so we propose a novel method of reducing those errors by integrating the estimated results from many voices singing the same song. The experimental results confirmed that Unisoner can shorten the time for creating derivative choruses, and the proposed methods can reduce the estimation error of F0 and lyric alignment.

Journal

  • 情報処理学会論文誌

    情報処理学会論文誌 56(12), 2370-2383, 2015-12-15

Codes

  • NII Article ID (NAID)
    170000130793
  • NII NACSIS-CAT ID (NCID)
    AN00116647
  • Text Lang
    JPN
  • Article Type
    journal article
  • ISSN
    1882-7764
  • Data Source
    IPSJ 
Page Top