DE2000-28 インクリメンタルな更新を伴う全文検索インデックスの分散並列処理方式 Distributed Parallel Processing Scheme of a Full-Text Index Structure with Incremental Updating

    • 吉原 潤 Yoshiwara Jun
    • 筑波大学大学院修士課程理工学研究科 Master's Program in Science and Engineering University of Tsukuba
    • 加藤 和彦 Kato Kazuhiko
    • 筑波大学電子・情報工学系:科学技術振興事業団 Institute of Information Science and Electronics University of Tsukuba:Japan Science and Technology Corporation

抄録

suffix arrayはテキストの接尾辞のポインタを接尾辞の辞書順に並べたもので, 任意の部分文字列検索を高速に行うことができるが, 更新のオーバーヘッドが大きい.本論文ではsuffix arrayを効率的に更新する方式として, 我々が以前提案したインクリメンタルな更新方式を分散並列化をした方式を提案する.この方式ではsuffix arrayに含まれる接尾辞を辞書順のある範囲で分割し, 各ノードに担当区間を割り当てる.繰り返される更新に伴い各ノードの担当区間のサイズの不均衡が生じるため, 動的に担当区間の変更を行ない更新処理の負荷を均等化する.また, 単純に均等なサイズに分割して連続した区間をノードに割り当てた場合に検索要求の分布に偏りが生じることを示し, 検索要求の偏りを軽減する分割方法を提案した.

A suffix array is a full-text index data structure which is efficient for retrieving any substring of text, but requires a lot of overhead for updating it. In this paper, we propose an efficient updating scheme of suffix arrays. In this scheme, a suffix array is split into some sections and each section is assigned to a node. When updating, the incremental updating scheme which we already proposed runs in parallel on each node. To balance the sizes of sections after repeated updating, boundaries of sections are changed dynamically. Furthermore we propose the spliting scheme of suffix arrays to balance the retrieval prosessing load

収録刊行物

電子情報通信学会技術研究報告. DE, データ工学   [巻号一覧]

電子情報通信学会技術研究報告. DE, データ工学 100(226), 41-48, 2000-07-19  [この号の目次]

一般社団法人電子情報通信学会

参考文献:  5件

参考文献を見るにはログインが必要です。ユーザIDをお持ちでない方は新規登録してください。

プレビュー

プレビュー

各種コード

  • NII論文ID(NAID) :
    110003188972
  • NII書誌ID(NCID) :
    AN10012921
  • 本文言語コード :
    JPN
  • 資料種別 :
    ART
  • ISSN :
    09135685
  • NDL 記事登録ID :
    5480912
  • NDL 雑誌分類 :
    ZN33(科学技術--電気工学・電気機械工業--電子工学・電気通信)
  • NDL 請求記号 :
    Z16-940
  • 収録DB :
    CJP書誌  NDL  NII-ELS