VoiceDub：複数タイミング情報をともなう映像エンタテイメント向け音声同期収録支援システム

• 川本, 真一

• 森島, 繁生

• 中村, 哲

書誌事項

タイトル別名

• VoiceDub: Post-scoring System with Multiple Timing Information for Visual Entertainment

抄録

本稿は，映像コンテンツに対して同期のとれた台詞音声の収録を発話者自身による簡単な操作によって実現するためのシステムを提案する．映像に合わせて音声を収録するアフレコは，アニメ制作や映画の吹き替えなどで幅広く用いられているが，声優のように映像と同期した発話を行うことが要求される．また，サウンドエンジニアが手動で収録した台詞音声を映像と同期させ，BGMや効果音を付加するといった編集作業にも時間を要する．本システムは，声優やサウンドエンジニアのような技能を持たない人でもアフレコができるよう配慮し，1) 発話者が発話のタイミングをとるための様々な情報を提示し，2) 収録した音声に対してBGMや効果音を重ね合わせるなどの後処理を自動的に行い，3) 利用者が簡単に操作できるインタフェースを備え，4) 多人数の利用者が並行して短時間で収録できる特徴を有するシステムを設計し，試作した．本システムの運用テストと主観評価実験により，操作の容易さや複数提供したタイミングをとるための情報の有用性を示した．また，スタジオでのアフレコを想定した手動での収録作業と比べ，収録作業時間を短縮できることを確認した．本システムを用いて収録した台詞音声の73.8%が，音声と発話映像との同期（リップシンク）における許容限内に収まることを確認した．

This paper proposes a novel post-scoring system which enables users to easily record speech and synchronize it with video. Scenario speech recording for synchronization of films, called post-scoring, is widely used in video production. However, adjusting the timing of the scenario speech is difficult and time consuming for non-professional users. In addition, the use of professional post-scoring environments is both expensive and complicated, and requires manual operation by specialist sound engineers. This paper proposes a user-friendly post-scoring tool that: 1) provides supporting information for synchronization with voice and lip motion timing for users; 2) automatically processes recorded voices with mixed audio with BGM and SE; 3) features an intuitive and easy-to-use display operation; 4) handles multiple users in parallel. Our system was evaluated through demonstrations and subjective experiments. The results show that our system enables users to experience a post-scoring easily with short recording time. In addition, our results show that 73.8% of user utterances recorded using the proposed system falls within the acceptable range of timing in terms of lip-synching.

収録刊行物

• 情報処理学会論文誌

  情報処理学会論文誌 56 (4), 1142-1151, 2015-04-15

  一般社団法人情報処理学会

キーワード

• [特集：インタラクションの理解および基盤・応用技術] アフレコ，リップシンク，映像同期発話，エンタテイメントシステム

詳細情報

• CRID: 1050001337905761920
• NII論文ID: 110009890354
• NII書誌ID: AN00116647
• ISSN: 18827764
• Web Site: http://id.nii.ac.jp/1001/00141557/
• 本文言語コード: ja
• 資料種別: journal article
• データソース種別:
  • IRDB
  • CiNii Articles
  • KAKEN