ストリーム処理における来歴データ永続化の投機的実行方式  [in Japanese] A Speculative Execution Method for Providing Persistence to Provenance Data on Stream Processing  [in Japanese]

Search this Article

Author(s)

Abstract

本論文は,データストリームにおける来歴管理技法を示す.ストリーム処理エンジンの出力を受け取ったアプリケーションからの根拠を問い合せる要求に応えるため,ストリーム処理エンジンに到着したタプルストリームの内,その出力の全来歴を永続化する.効率化に関する2つの基本方式を述べた後,投機的実行方式を述べる.頻繁に到着するデータストリームを一括してディスクに転送する方式を提案する.結果集合を成すタプルの全来歴タプルを連続領域にマーシャリングし,それをディスクへ一括転送することで,処理時間の長いディスクアクセスを減らすことができる.そして,プロトタイプSPEを作成して,ウィンドウ演算,選択演算,直積演算から構成される実行木について,ウィンドウ幅を変えて来歴タプル永続化に関する処理時間を計測した.実験の結果,来歴タプル永続化処理には多大な時間を要すること,およびその原因はディスクアクセス回数であることが示された.また,実行木の処理コストにより,有利な技法が変わることも示された.This paper proposes provemance management techniques for data streams. The techniques provide persistence to provenance of output for applications. We describe two basic methods and then we propose a speculative method. We describe to transfer provenance tuples to a disk in a lump by marshaling provenance tuples so that the number of disk accesses are reduced to be 1. We developed a prototype SPE and evaluated the proposal techniques with window, selection, and cartesian product operators. The result of experiments showed that providing persistence for provenance required long time compared with stream processing, and its major factor was the number of disk accesses. And, the efficiency of an algorithm is related to the cost of an operator tree processing.

Journal

  • 情報処理学会研究報告. UBI, [ユビキタスコンピューティングシステム]

    情報処理学会研究報告. UBI, [ユビキタスコンピューティングシステム] 22, I1-I8, 2009-05-15

    情報処理学会

References:  19

Codes

  • NII Article ID (NAID)
    110007995122
  • NII NACSIS-CAT ID (NCID)
    AA11838947
  • Text Lang
    JPN
  • Article Type
    ART
  • ISSN
    09196072
  • NDL Article ID
    024761751
  • NDL Call No.
    YH247-911
  • Data Source
    CJP  NDL  NII-ELS 
Page Top