AspectJを用いたFault-InjectionによるHadoop MapReduceの耐故障処理に関する性能評価

IR IPSJ

Bibliographic Information

Other Title
  • Fault-tolerant Performance Evaluation of Hadoop MapReduce by Fault-Injection Using AspectJ

Search this article

Abstract

近年,ネットワークサービスの利用形態の1つとして,クラウドコンピューティングが注目を集めている.そのクラウドの内部では,複数の要素によって構成される分散システムによって処理が行われており,主にMapReduceなどの分散処理フレームワークにより処理を複数のサーバに分散させている.大規模な分散システムでは,ネットワーク通信障害をはじめとした様々な障害が発生する可能性があるため,システムには高いフォールトトレランス(耐故障性)が要求され,十分な性能評価を行ったうえでシステムを提供する必要がある.しかし分散システムの耐故障処理の動作は複雑なものとなっているため,その性能を評価する効率的な手法として,ランタイムに評価を行う手法が有効であると考えられる.本研究では,Apache Hadoopを対象とし,AspectJを用いて,MapReduceの動作中に考えられる様々な障害を発生させ(Fault-Injection),同時にシステムの動作を監視するモニタを実装する手法を提案する.この手法を用いて,MapReduceの障害発生後の動作をランタイムに解析することにより,耐故障処理の効率的な性能評価を行うことが可能である.今回,障害発生下におけるMapReduceアプリケーションの実行や,モニタにより生成されたトレースにより,Hadoop MapReduceの耐故障性に関する評価実験を行った. Recently, cloud computing has attracted a lot of attention as one of the usage patterns of network services. Within the cloud, the process is conducted by the distributed system that is constituted by plural elements, thereby distribute the process across multiple servers by distributed processing frameworks such as MapReduce mainly. Because there is a possibility of various failure including network communication failure in a large-scale distributed system, high fault tolerance is required for the system, and it is necessary to provide the system after having enough performance evaluation. However, the operation of the fault tolerant processing of the distributed system is complex, therefore it is considered that run time evaluation is effective to evaluate its performance effectively. In this study, we propose a method to inject various failure under processing MapReduce, and to monitor the operation of system at the same time using AspectJ. Using this method, it is possible to analyze the operation after occurring failure of MapReduce at run time, and evaluate fault-tolerant performance effectively. In this paper, by execution of MapReduce application under failure, and traces that are generated by the monitor, we experiment about fault-tolerant performance of Hadoop MapReduce.

Journal

Related Projects

See more

Keywords

Details 詳細情報について

Report a problem

Back to top