階層型記憶装置を用いたWebアーカイビングシステムの提案  [in Japanese] Hierarchical Storage System for Web Archiving based on Experience of WARP  [in Japanese]

近年,Web情報の文化的・社会的価値に着目し,それらを保存する持続的な試みが世界各国で進められている.我が国では,国立国会図書館インターネット資源選択的蓄積実験事業(WARP : Web Archiving Project)において,Webアーカイブの構築が進められているが,急増するデータ収集システム,長期保存が可能なストレージシステム等多くの技術的問題が存在する.本稿では,喫緊の課題であるストレージシステムに焦点を当て,データ保存形式や格納領域のデバイス特性を考慮した階層型ストレージシステムの基本的なアーキテクチャを提案する.また,ファイル参照頻度に基づいた評価値を用いて,適切な保存デバイスに適切なファイルフォーマットで移動するアルゴリズムを提案する.WARPデータに基づく評価予測を行うことで,長期間のアーカイブに適した性能が実現できることを示す.

In many countries, the web archiving projects have been promoted continually for preserving cultural and social properties on web systems. In Japan, a project called WARP in the National Diet Library has been promoted, it has many technical problems of archiving system, such as collecting monotoneously increasing huge volume of web data, long-term preservation and so on. In this paper, we focus on the the urgent task of storage system, and propose a basic architecuture of hierarchical storage system based on characteristics of data compressions and storage devices. We also propose file moving algorithm by using file retrieval frequency. We evaluate the perfomance of our proposed architecure with predicted data based on WARP statistics.