データストリーム管理システムHarmonicaの設計と実装  [in Japanese] Design and Implementation of a Data Stream Management System Harmonica  [in Japanese]

Access this Article

Search this Article

Author(s)

    • 山田 真一 YAMADA SHINICHI
    • 筑波大学大学院システム情報工学研究科 Graduate School of Systems and Information Engineering, University of Tsukuba
    • 渡辺 陽介 WATANABE YOUSUKE
    • 科学技術振興機構戦略的創造研究推進事業 Core Research for Evolutional Science and Technology, Japan Science and Technology Agency
    • 天笠 俊之 AMAGASA TOSHIYUKI
    • 筑波大学大学院システム情報工学研究科 Graduate School of Systems and Information Engineering, University of Tsukuba

Abstract

近年,センサデータなど実世界から得られるストリームデータが増加し,それらに対する高度利用要求に注目が集まっている.ストリームデータに対する要求としては,従来は新規到着データに対する連続的な問合せ要求が主流であったが,ストレージの大容量化や低価格化が進んだ結果,ストリームデータの蓄積要求や,新規到着データと蓄積データとの統合要求が重要となってきている.そこで本論文では,ストリームデータに対する各種要求を実現するデータストリーム管理システムHarmonicaを提案する.Harmonicaは以下の3つの特徴を持っている.(1)各種処理を実現するアーキテクチャと要求記述.Harmonicaは,ストリームデータに対する問合せ処理システムであるストリーム処理エンジンと既存のDBMSを連携させることで,ストリームデータに対する各種要求を処理する.また,それらの連携要求を定義する要求記述言語を提供する.(2)要求処理可能性の判定機能.Harmonicaは,各種要求に対して連続的な処理の実現可能性を事前に判定する.(3)複数蓄積要求の最適化機能.Harmonicaは,システムの実行環境や性能に応じて複数の蓄積要求に対する最適化を行う.本論文では,(1),(2),(3)に示す機能の詳細について述べる.また,我々が開発したプロトタイプシステムで行った性能評価実験について述べる.Today, the amount of data delivered as data streams has been increasing, and a variety of processing requirements over data streams are emerging. They include archiving and querying streams as historical data, processing continuous queries over incoming data, and integrating historical data and incoming data. We have developed a data stream management system Harmonica to fulfill such requirements. Harmonica provides the following features. (1) Harmonica integrates a stream processing engine and DBMSs and provides an original query language to specify different query and storage requirements. (2) Harmonica detects requirements which exceed system capacity. (3) Harmonica creates feasible processing plans for multiple persistency requirements. In this paper, we describe the above three features in details and present the performance of our prototype system.

Today, the amount of data delivered as data streams has been increasing, and a variety of processing requirements over data streams are emerging. They include archiving and querying streams as historical data, processing continuous queries over incoming data, and integrating historical data and incoming data. We have developed a data stream management system Harmonica to fulfill such requirements. Harmonica provides the following features. (1) Harmonica integrates a stream processing engine and DBMSs and provides an original query language to specify different query and storage requirements. (2) Harmonica detects requirements which exceed system capacity. (3) Harmonica creates feasible processing plans for multiple persistency requirements. In this paper, we describe the above three features in details and present the performance of our prototype system.

Journal

  • 情報処理学会論文誌データベース(TOD)

    情報処理学会論文誌データベース(TOD) 48(SIG14(TOD35)), 91-106, 2007-09-15

    Information Processing Society of Japan (IPSJ)

References:  15

Cited by:  6

Keywords

Codes

  • NII Article ID (NAID)
    110006390954
  • NII NACSIS-CAT ID (NCID)
    AA11464847
  • Text Lang
    JPN
  • Article Type
    Journal Article
  • ISSN
    1882-7799
  • NDL Article ID
    8909122
  • NDL Call No.
    Z74-C192
  • Data Source
    CJP  CJPref  NDL  NII-ELS  IR  IPSJ 
Page Top