一人称視点映像を用いたWeb上の知識に基づく環境非依存な行動認識手法

久賀, 稜平, 前川, 卓也, 松下, 康之

センサを用いた行動認識技術は，独居高齢者見守りやホームオートメーションなどの基盤的技術であり，近年活発に研究がされている．本論文ではウェアラブルカメラにより撮影された一人称視点映像に着目し，ユーザによる事前学習を必要としない環境非依存な行動認識手法を提案する．これまでに，一人称視点映像や日常物に添付したセンサノードを用いて行動認識を行う研究は数多くなされているが，その多くがユーザによるトレーニングデータの収集を必要としている．一方本研究では，ウェアラブルカメラにより撮影された一人称視点映像に着目し，Web上に存在する知識を用いることによって環境非依存な行動認識を実現する．提案手法では，入力画像から事前学習された一般物体認識用ディープニューラルネットワークを用いて，ユーザが利用したオブジェクトを認識し，認識したオブジェクトの名前とあらかじめ定義した日常行動の名前との類似度をWeb上の知識を用いて計算することで，環境非依存な行動認識を実現する．

In this paper, we recognize daily activities based on a wearable camera without using training data prepared by a user in her environment. Recently, deep learning frameworks have been publicly available, and we can now easily use deep convolutional neural networks (DCNNs) pre-trained on a large image data set. In our method, we first detect objects used in the user's activity from her first-person images using a pre-trained DCNN for object recognition. We then estimate an activity of the user using the object detection result because objects used in an activity strongly relate to the activity. To estimate the activity without using training data, we utilize knowledge on the Web because the Web is a repository of knowledge that reflects real-world events and common sense. Specifically, we compute semantic similarity between a list of the detected object names and a name of each activity class based on the Web knowledge. The activity class with the largest similarity value is the estimated activity of the user.

一人称視点映像を用いたWeb上の知識に基づく環境非依存な行動認識手法

書誌事項

この論文をさがす

抄録

収録刊行物

キーワード

詳細情報詳細情報について

書き出し

問題の指摘

一人称視点映像を用いたWeb上の知識に基づく環境非依存な行動認識手法

書誌事項

この論文をさがす

抄録

収録刊行物

キーワード

詳細情報 詳細情報について

書き出し

問題の指摘

参加プロジェクトリスト

詳細情報詳細情報について