インタラクション主体の粒度に応じた人間情報センシングと相互交流基盤の構築

収集根拠 : 博士論文（自動収集）

資料形態 : テキストデータ

コレクション : 国立国会図書館デジタルコレクション > デジタル化資料 > 博士論文

type:text

情報通信技術の発展によって人々が様々な形態で手軽につながることができるようになった一方で，「有意義な」相互交流を実現する支援の在り方に関しては議論が必要な課題である．情報コミュニケーションにおいては，現実世界での対話と比較して伝達される情報が欠落することで齟齬が発生する，逆に過度な情報収集がプライバシーの侵害への懸念をもたらすといった様々な問題がある．これらの情報コミュニケーションにおける問題は，単純に個々人がインタラクションを進めていく上で障壁となるだけでなく，インタラクションに携わる個人の行動の意欲や参与を促進・抑制する大きな要素となりうる．このような背景から，人間同士のインタラクションを工学的に支援するにあたって，どのような情報をどのように伝達してあげることが，その価値の向上につながるのかに関しては議論が必要な課題である．　本研究においては，人間同士のインタラクションを支援する上での適切な情報獲得・伝達の在り方を考える上での1 つの指針として，インタラクション主体のスケール，インタラクション主体の内部で伝達される情報の持つ情報量，という2 種類の「粒度」に着目し，それらの違いに応じた情報獲得・伝達の課題について議論する．本論文ではこの課題のうち，インタラクション主体のスケールが小さい場合における「相手をより深く知るための内面情報センシング手法の実現」，インタラクション主体のスケールが大きい場合における「人々が集団として『創発的に』繋がるための技術支援の方法論の解明」の2 点を特に重要な問題として捉え，そのそれぞれに対して解決方策を提案する．　第2 章では，「相手の情報をより深く知るための内面情報センシング手法の実現」という課題に対応し，ユーザや環境への介入を伴わない非接触な方法で人の内部状態を計測する技術として，民生品のRGB カメラで撮影された顔映像を利用した心拍数計測手法に関して議論を行う．本論文では，比較的頑健な計測が可能だが計測速度が低速であるという特徴を持つランダムパッチを用いた心拍数計測手法に着目し，その高い頑健性を維持しながら計測速度の高速化を実現した取り組みについて報告する．先行研究での提案手法に対し，計測領域の選択法の改善と，実装の効率化・最適化を行うことで，従来法の精度を概ね維持しつつ約14 倍の実行速度の高速化を実現した．　第3 章では，「人々が集団として『創発的に』繋がるための技術支援の方法論の解明」という課題に対応し，集団を構成する個々人の振る舞いの伝達と可視化に基づいて，その内部のつながりを促進する技術支援の方法について議論する．本論文ではその調査フィールドとして国内の大規模集団交流の事例である音楽ライブの現場に着目し，演者・観客間，観客同士の一体感・参加感・臨場感を促進するシステム開発・評価に取り組んだ事例について報告する．演者と観客の間の身体的な振る舞いを発光や振動を介して，双方向的に伝達・提示することが可能な双方向ライブ支援システム「Affinity Live」を開発し，プロの演者・実際のファンを対象とした50 人規模での音楽ライブ形式の評価実験を実施した．結果として，提案手法が持つ「演者の身体的行動に同期した観客デバイスへの情報提示」「双方向的な振る舞いの伝達と可視化」が演者・観客間，観客同士の一体感を向上することを明らかにした．また，パブリックビューイングの現場を対象とした「遠隔ライブ参加支援システム」としてのシステムの拡張も実施した．　第4 章では，遠隔でのグループコミュニケーションに着目し，その中で特有して発生する「相手がその場にいる感覚(身体的共在性)の欠落」に関する問題に対して議論する．本章では，これらの問題の解決方策として，映像通信とユーザデバイスを組合せることで，自他の映像や実世界環境に対して多様な粒度での情報獲得・提示を可能とした遠隔コミュニケーション支援基盤を提案する．本枠組みは，第3 章の内容に関連し，双方向ライブ支援システム・遠隔ライブ参加支援システムと組合せて用いることで，演者・現地参加者・遠隔参加者の相互的な交流を実現する「汎用的ライブ支援プラットフォーム」を完成するものである．また，ライブイベント支援以外の文脈においても，立場の異なる様々な個人の集団への参加を促すシステムを設計するための汎用的な枠組みとなり得るものである．本枠組みの「汎用的ライブ支援プラットフォーム」としての利用可能性を検証するために，朗読劇イベントを対象とした現地・遠隔地の両方の参加者を対象として演者とのインタラクションを支援するシステムを開発し，実際のイベントで評価実験を行った．また，ライブ支援以外の文脈における本枠組みのさらなるユースケースとして，テレビ電話における空間連続性の向上への応用可能性に関する議論，アイデア出しの会議・遠隔授業の現場を対象とした参加者の交流支援システムの提案を行う．　第5 章では本研究を総括した結論および将来展望について述べる．

概要　i図目次　xii表目次　xiii第1 章　序論　1　1.1　本研究の背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1　　　　1.1.1　人間同士のコミュニケーションとその支援・課題 . . . . . . 1　　　　1.1.2　インタラクション主体の持つ2 つの「粒度」 . . . . . . . . . 4　1.2　本研究の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6　　　　1.2.1　相手の情報をより深く知るための内面情報センシング手法の　　　　　　　 実現 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7　　　　1.2.2　人々が集団として「創発的に」繋がるための技術支援の方法　　　　　　　 論の解明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7　1.3　本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8第2 章　人間の内面情報を獲得するセンシング技術の開発　10　2.1　背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10　2.2　人間の状態の獲得に関する研究動向 . . . . . . . . . . . . . . . . . . 11　　　　2.2.1　人間が直接的に表出する情報の獲得 . . . . . . . . . . . . . . 12　　　　2.2.2　人間が直接的に表出しない情報の獲得 . . . . . . . . . . . . 14　2.3　顔映像からの心拍情報推定 . . . . . . . . . . . . . . . . . . . . . . . 16　　　　2.3.1　RGB カメラを用いた心拍数推定手法の原理 . . . . . . . . . . . . . . 17　　　　2.3.2　非接触心拍数推定手法の発展と現在の課題 . . . . . . . . . . 18　2.4　解決したい課題・研究目的 . . . . . . . . . . . . . . . . . . . . . . 22　2.5　顔映像中の局所領域を利用した心拍数推定 . . . . . . . . . . . . . . 23　　　　2.5.1　手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24　　　　2.5.2　評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26　　　　2.5.3　手法の有用性および課題 . . . . . . . . . . . . . . . . . . . . . 27　2.6　高速化・頑健化を実現する手法改良 . . . . . . . . . . . . . . . . . . 28　　　　2.6.1　統計的に計測に適した部位の調査 . . . . . . . . . . . . . . . 28　　　　2.6.2　実装の最適化・高速化 . . . . . . . . . . . . . . . . . . . . . 29　2.7　組み込み容易な心拍数推定アプリケーション . . . . . . . . . . . . . 32　2.8　まとめと将来展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32　　　　2.8.1　本章のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . 32　　　　2.8.2　映像からの心拍数推定手法に関する将来展望 . . . . . . . . . 33　　　　2.8.3　映像からの心拍数推定手法に関する技術的課題 . . . . . . . 35　　　　2.8.4　推定手法の応用に際しての利点・欠点・限界 . . . . . . . . . 38第3 章　多人数相互交流支援基盤の提案　39　3.1　背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39　3.2　解決したい課題・研究目的 . . . . . . . . . . . . . . . . . . . . . . . 41　3.3　解決方策：音楽ライブを題材とした多人数交流支援 . . . . . . . . . 42　　　　3.3.1　背景と意義 . . . . . . . . . . . . . . . . . . . . . . . . . . . 42　　　　3.3.2　コンサート市場の背景と技術支援の動向 . . . . . . . . . . . 44　　　　3.3.3　求められる支援の在り方 . . . . . . . . . . . . . . . . . . . . 49　3.4　演者と観客の間の一体感を向上する双方向ライブ支援システム . . . 51　　　　3.4.1　提案法の概略 . . . . . . . . . . . . . . . . . . . . . . . . . . 52　　　　3.4.2　初期検討 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53　　　　3.4.3　実際のライブ環境下におけるデータ計測実験 . . . . . . . . . 55　　　　3.4.4　計測データを用いた予備実験 . . . . . . . . . . . . . . . . . 56　　　　3.4.5　双方向ライブ支援システムの開発：ハードウェア設計 . . . . 59　　　　3.4.6　双方向ライブ支援システムの開発：ソフトウェア設計 . . . . 61　3.5　実際のライブ環境下における実証実験 . . . . . . . . . . . . . . . . 61　　　　3.5.1　実証実験（単方向システム） . . . . . . . . . . . . . . . . . 62　　　　3.5.2　実証実験（双方向システム） . . . . . . . . . . . . . . . . . 66　　　　3.5.3　実験(実際のファン・観客を対象とした実験) . . . . . . . . . 70　3.6　実証実験を受けての議論 . . . . . . . . . . . . . . . . . . . . . . . . . 87　　　　3.6.1　演者から観客への演技情報の伝達の有用性 . . . . . . . . . . 87　　　　3.6.2　観客から演者への応援伝達・可視化 . . . . . . . . . . . . . . 88　　　　3.6.3　実験設定の妥当性および問題 . . . . . . . . . . . . . . . . . 88　　　　3.6.4　将来展望と課題 . . . . . . . . . . . . . . . . . . . . . . . . . 89　　　　3.6.5　他ドメインへの知見の適用の可能性・課題 . . . . . . . . . . 90　　　　3.6.6　映像解析から得られた観客の振る舞いに関する社会学的分析90　3.7　実験結果を受けてのシステムの拡張 . . . . . . . . . . . . . 93　　　　3.7.1　観衆の同期的行動の獲得 . . . . . . . . . . . . . . . . . . . . 93　　　　3.7.2　簡易的な開発を可能とするライブラリ設計 . . . . . . . . . . . 97　　　　3.7.3　新たな通信システムの検討 . . . . . . . . . . . . . . . . . . . 98　　　　3.7.4　新ペンライトシステムのハードウェア設計案 . . . . . . . . . 101　3.8　遠隔ユーザを対象としたシステムの拡張 . . . . . . . . . . . . . . . 102　　　　3.8.1　実験用システム . . . . . . . . . . . . . . . . . . . . . . . . . 103　　　　3.8.2　学内における評価実験 . . . . . . . . . . . . . . . . . . . . . 107　　　　3.8.3　実際のイベントにおける実証実験 . . . . . . . . . . . . . . . 111　3.9　まとめと将来展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112　　　　3.9.1　まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112　　　　3.9.2　本研究の貢献・将来展望 . . . . . . . . . . . . . . . . . . . . 113第4 章　遠隔コミュニケーションを対象とした多人数相互交流支援基盤の提案115　4.1　背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116　　　　4.1.1　オンラインでの集団交流の広がり～現状そして課題～ . . . . 116　　　　4.1.2　オンライン配信音楽ライブから見る遠隔交流における課題 . 117　4.2　解決したい課題・研究目的 . . . . . . . . . . . . . . . . . . . . . . . 118　4.3　遠隔配信視聴者の共創体験を促進する支援システムの開発 . . . . . 118　　　　4.3.1　ユーザの様々な「粒度」の情報を獲得・提示できる相互交流 支援基盤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120　　　　4.3.2　テレビ電話を拡張するバックチャネルによる通信体系の実装 121　　　　4.3.3　自他の映像への介入を実現するアプリケーションの実現 . . 122　　　　4.3.4　配信ライブ環境に則した共創体験支援アプリケーションの実装125　4.4　双方向ライブ支援システムとの融合 . . . . . . . . . . . . . . . . . . 131　　　　4.4.1　汎用型ライブ支援プラットフォームの実現 . . . . . . . . . . 131　　　　4.4.2　実際のイベント場面でのプラットフォームの予備的検証 . . 133　4.5　他者環境へ様々な「粒度」で介入可能な汎用的相互交流基盤の実現へ144　　　　4.5.1　多感覚相互交流支援プラットフォーム . . . . . . . . . . . . 144　　　　4.5.2　他ドメインへの開発基盤の応用および試作システム . . . . . 145　4.6　まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150第5 章　結論　152　5.1　本研究のまとめ・貢献 . . . . . . . . . . . . . . . . . . . . . . . 152　5.2　本研究で得られた知見 . . . . . . . . . . . . . . . . . . . . . . . 154　5.3　本論文で取り扱った領域・未議論領域 . . . . . . . . . . . . . . . 158　5.4　将来展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159謝辞　163参考文献　165公表論文等　178

指導教員 : 小林貴訓教授

博士の専攻分野の名称 : 博士(工学)学位授与年月日 : 令和3年3月25日

identifier:学位記号番号 : 博理工甲第1198号