HadoopにおけるJobTracker主導型タスクスケジューリングの実装と評価 (コンピュータシステム)  [in Japanese] Implementation and Evaluation of JobTracker Initiative Task Scheduling on Hadoop  [in Japanese]

Search this Article

Author(s)

Abstract

大規模データを効率良く処理するためのフレームワークの1つにMapReduceがあり, Map関数とReduce関数の2つの関数を記述するだけで容易に分散処理を実現できる. apReduceフレームワークのオープンソースソフトウェアであるHadoopでは,これらの関数を実行するMapタスクとReduceタスクを実行する. TaskTrackerと呼ばれるタスクを実行するスレーブプログラムがマスタプログラムであるJobTrackerにタスクを要求することで, JobTrackerがMapタスクおよびReudceタスクの割り当てを行う.同一クラスタ上で複数のHadoop システムが稼働している環境では,計算資源を複数のHadoopで共有している.それぞれのHadoopの利用可能な計算資源は,別のHadoopの動作によって動的に変動する. Hadoopのタスクスケジューラは,静的に設定されたMapスロット数のタスクをそれぞれのノードに割り当てるため,動的に負荷が変動する状況では計算資源を効率的に利用することは困難である.そこでHadoopシステムの大域的な情報を収集可能なJobTracker同士が協調し,それぞれのTaskTrackerに適切にタスクをスケジューリングするJobTracker主導型のタスクスケジューラの導入が求められる.本稿ではJobTracker主導型タスクスケジューラの予備研究として,クラスタの計算資源を有効に利用するためにJobTrackerがそれぞれの計算機の負荷に基づきTaskTrackerに割り当てるタスクの数を動的に制御する手法を提案し,その評価結果を示す.

MapReduce is one of a framework to process large-scale data efficiently. Describing only two methods, Map and Reduce, distributed program can be implemented easily. In Hadoop which is a open source implementation of MapReduce, JobTracker (master program in Hadoop) assigns Map Tasks and Reduce Tasks to TaskTracker (slave program which execute the tasks). In a environment such that multiple Hadoop systems are running on a same cluster, computational resources should be shared by every Hadoop. Available computational resources of each Hadoop fluctuates dynamically by behavior of other Hadoops. Then, a scheduler which schedule tasks to TaskTrackers properly, are required; we call it JobTracker Initiative Task Scheduler. In this paper, as a preliminary research of JobTracker Initiative Task Scheduler, we propose a method which decide the number of execution of task in order to use computation resources efficiently and based on a load on each computer. And we have shown results of our evaluations.

Journal

  • IEICE technical report. Computer systems

    IEICE technical report. Computer systems 113(169), 85-90, 2013-08-01

    The Institute of Electronics, Information and Communication Engineers

Codes

  • NII Article ID (NAID)
    110009806022
  • NII NACSIS-CAT ID (NCID)
    AN10013141
  • Text Lang
    JPN
  • ISSN
    0913-5685
  • NDL Article ID
    024831193
  • NDL Call No.
    Z16-940
  • Data Source
    NDL  NII-ELS 
Page Top