実世界データベースにおける視覚情報のモデル化と操作

博士論文

application/pdf

本論文では、映像や物体の形状データなどの視覚情報を基にして、実世界をデータベース化する手法について述べる。データベースシステムの目的は、「実世界の情報を計算機に表現し、効率良く管理・蓄積・検索する」ことであるといえる。そのためには、データモデルという概念的・理論的枠組を仲介にして、実世界の情報を計算機上のデータにマップする必要がある。ここで実世界の情報として、「対象世界を目で見た」視覚情報をデータベース化する対象にすることは、エンジニアリング分野をはじめとする様々な応用分野において有効である。1980年代以降の計算機技術の発展により、グラフィック画像やビデオ映像などのいわゆる視覚データを計算機上で取り扱うことが容易になってきた。映像についていえば、アナログビデオ信号を計算機に取り込むためのアップコンバータの登場と、2次記憶装置の大容量・高速化、さらに中央処理装置の高速化によるラスタデータの処理性能向上によって、ビデオ信号を完全なディジタルデータとしてディスク上に蓄積し、メモリ上で画像処琴を行なうことが現実となった。加えて、映像をディジタルデータとして取り扱うD1規格やD1データを計算機に取り込む装置であるDVDA（Digital Video Disk Array）の登場により、カメラでとらえた映像をさらに高解像度で情報をロスすることなく取得することが現在では可能となっている。また、コンピュータグラフィックス（Computer Graphics：CG）の世界では、Open GLなどの高度なAPIの発展と、専用のレンダリングハードウェアによって、現実には存在しない空間―すなわち仮想空間をあたかも現実であるがごとく再現することが可能となってきている。そこで本研究では、映像や物体の形状データといったマルチメディアデータを基に、視覚情報データベースの構築を試みた。資格情報に基づいて現実世界をデータベース化し、トータルな視覚情報システムを構築するためには次の2つの面からの考察と、手法の確立が必須である。その一方は、実世界から取得されたデータと、そのデータから抽出された知識をどのような概念モデルによって計算機上にモデル化するかという、データ表現手法である。もう一方は、モデル化された知識を基にどのようなデー データ操作を行うことが可能かとかという、データ操作手法である。そこで本論文では、まず本研究の基盤となるデータモデル論について述べた上で、その操作言語について述べる。この二つを柱として、映像を基にしたデータベースを実際に構築し、その検証を行った。また、映像データベースシステムによって得られた成果を多視点映像へと拡張し、単一視点による映像データベースよりも現実の世界に近い情報蓄積が可能な、現実世界データベースの構築を試みた。本論文は、6章で構成されている。1章では、本研究の背景と目的について述べる。2章では、実世界を計算機上に表現するために、データモデルに関する考察を行なう。データベースの概念的枠組であるデータモデルとしてはAISモデルを用いた。AISモデルは関数型データモデルの一つであり、実世界のあらゆる情報を、主体とそれらの間の2項関係に分解して表現するデータモデルである。AISモデルによって対象世界の情報の概念的な関係だけでなく、映像や、映像を構成するフレーム、フレームに映り込んだ被写体などのマルチメディアデータを基にして対象世界を表現し、蓄積することができた。このデータモデルではフラットな表現方法をとるため、ある特定の視点からの見方だけでなく、2項関係のパスをたどることだけで様々な関連を参照することが可能であることを示した。3章では、AISモデルによって表現された情報に対するデータ操作言語であるMMQLを提案する。AISモデルは関数をプリミティプとしたデータベースアクセスメソッドを持つ。MMQLは関数型言語であるFPを基にして設計されているため、関数型データモデルであるÅISモデルの操作系として良くマッチする。MMQLを用いることで、AISモデルによるデータベースの検索操作とは、データベースの一部を切り出してある特定の視点から構造化して新たなデータを創り出すことであると考えることができる。これによって、データベースの構成はシンプルに、データ操作はad hocかつ複雑に表現することが可能となる。またMMQは宣言的な関数型言語に基づくため、並列処理抽出の容易さや、事前に評価時間を概算して検索結果を得られるまでの時間を評価できるなどの特徴を持ち、データベース操作言語として有効である。4章では、映像データベースの構築と操作について述べる。映像に映り込んだ被写体などの主題を対象とした内容検索（Content Based Retrieval）を実現するために、映像データの取得からモデル表現、映像データベースのデータ操作手法など、システムアーキテクチャの観点も含めで議論する。マルチメディアデータは、データ構造や操件方法がメディアごとに異なるが、MMQLを用いることでメディア依存処理を関数として埋め込んで用いることができるため、例えば検索結果として特定の被写体にスポットライトが当てられるなどの強調加工がなされた映像を得ることができる。これによって、検索操作でデータベースには存在しない新しい情報を得ることが可能となる映像データベースシステムを構築して、その有効性を示した。5章では、視覚情報を基にした実世界データベースについて述べる。映像を単一視点からの一本のムービーだけではなく、多視点画像＋物体の3次元形状へと拡張することで、より現夷の世界に近い実世界データベースの構築を試みた。ここで実世界をモデル化するために、「意味情報」と個別のデータとの仲介役を担うmediatorを導入することを提案する。本手法で用いたmediatorは、人間の頭部の形状をサンプルとして用い、目や鼻、口といった意味づけがなされている。このmediatorにより、個別の形状データ間に意味の統一を図るごとができるため、例えば鼻の体積の平均値を求めるなどの従来の形状データだけでは不可能であった集約演算が可能となる。さらに このmediatorは簡略化されたポリゴン形状であるため、時空間質問を高速に評価することが可能である。最後に6章で結論を述べる。本研究の結論として、・関数塑モデルに基づくデータモデルによって、様々な見方のできるデータベース設計を実現した　・FPに基づく操作言語によって、マルチメディアデータベースの操作を実現した　・内容に基づく検索が可能な映像データベースを実現した　・映像データベースを拡張し、3次元的な空間をデータベース化するためのモデルを提案した　・時空間質問処理について考察を行なった　・物体形状の意味と個別の形状データとを対応づけるmediatorを提案し、時空間質問　処理を高速に実現できることを示した　という成果が得られた。

横浜国立大学, 平成11年3月25日, 博士(工学), 甲第342号