HadoopにおけるJobTracker主導型タスクスケジューリングの実装と評価 (コンピュータシステム) Implementation and Evaluation of JobTracker Initiative Task Scheduling on Hadoop

この論文をさがす

著者

抄録

大規模データを効率良く処理するためのフレームワークの1つにMapReduceがあり, Map関数とReduce関数の2つの関数を記述するだけで容易に分散処理を実現できる. apReduceフレームワークのオープンソースソフトウェアであるHadoopでは,これらの関数を実行するMapタスクとReduceタスクを実行する. TaskTrackerと呼ばれるタスクを実行するスレーブプログラムがマスタプログラムであるJobTrackerにタスクを要求することで, JobTrackerがMapタスクおよびReudceタスクの割り当てを行う.同一クラスタ上で複数のHadoop システムが稼働している環境では,計算資源を複数のHadoopで共有している.それぞれのHadoopの利用可能な計算資源は,別のHadoopの動作によって動的に変動する. Hadoopのタスクスケジューラは,静的に設定されたMapスロット数のタスクをそれぞれのノードに割り当てるため,動的に負荷が変動する状況では計算資源を効率的に利用することは困難である.そこでHadoopシステムの大域的な情報を収集可能なJobTracker同士が協調し,それぞれのTaskTrackerに適切にタスクをスケジューリングするJobTracker主導型のタスクスケジューラの導入が求められる.本稿ではJobTracker主導型タスクスケジューラの予備研究として,クラスタの計算資源を有効に利用するためにJobTrackerがそれぞれの計算機の負荷に基づきTaskTrackerに割り当てるタスクの数を動的に制御する手法を提案し,その評価結果を示す.

MapReduce is one of a framework to process large-scale data efficiently. Describing only two methods, Map and Reduce, distributed program can be implemented easily. In Hadoop which is a open source implementation of MapReduce, JobTracker (master program in Hadoop) assigns Map Tasks and Reduce Tasks to TaskTracker (slave program which execute the tasks). In a environment such that multiple Hadoop systems are running on a same cluster, computational resources should be shared by every Hadoop. Available computational resources of each Hadoop fluctuates dynamically by behavior of other Hadoops. Then, a scheduler which schedule tasks to TaskTrackers properly, are required; we call it JobTracker Initiative Task Scheduler. In this paper, as a preliminary research of JobTracker Initiative Task Scheduler, we propose a method which decide the number of execution of task in order to use computation resources efficiently and based on a load on each computer. And we have shown results of our evaluations.

収録刊行物

  • 電子情報通信学会技術研究報告 = IEICE technical report : 信学技報

    電子情報通信学会技術研究報告 = IEICE technical report : 信学技報 113(169), 85-90, 2013-08-01

    一般社団法人電子情報通信学会

各種コード

  • NII論文ID(NAID)
    110009806022
  • NII書誌ID(NCID)
    AN10013141
  • 本文言語コード
    JPN
  • ISSN
    0913-5685
  • NDL 記事登録ID
    024831193
  • NDL 請求記号
    Z16-940
  • データ提供元
    NDL  NII-ELS 
ページトップへ