Improving MapReduce Task Scheduling for CPU-GPU Heterogeneous Environments

• SHIRAHATA KOICHI

  東京工業大学

• SATO HITOSHI

  東京工業大学

• MATSUOKA SATOSHI

  東京工業大学

Bibliographic Information

Other Title

• GPUを考慮した MapReduce のタスクスケジューリング

Abstract

大規模データ処理のためのプログラミングモデルとして MapReduce モデルがスケーラブルな並列処理が可能となるため注目されている。一方、GPGPU と呼ばれる、GPU を汎用計算に応用する技術の研究・開発が進んでおり、GPU のスーパーコンピュータやクラウドへの導入が進みつつある。しかし、MapReduce のタスクを CPU・GPU に資源を割り振る方法は、GPU 特性の影響からアプリケーションごとに性能は異なるため自明ではない。CPU と GPU が混在する不均質な大規模環境を想定し、CPU 上と GPU 上で実行されている Map タスクの動的なプロファイルを利用してジョブ実行時間を最小化するハイブリッドオンラインスケジューリングを提案する。K-Means アプリケーションで実験を行った結果、CPU のみの使用に対し、2GPU の使用とスケジューリングアルゴリズムの適用をした場合、CPU のみにスケジュールした場合に比べ、ジョブ実行時間において 1.02-1.93 倍の高速化を達成した。MapReduce is a programming model that enables efficient massive data processing in a large-scale computing environment such as supercomputers and clouds. On the other hand, recent such large-scale computers tend to employ GPUs to enjoy its good peak performance and high memory bandwidth. However, scheduling MapReduce tasks onto CPUs and GPUs for efficient execution is difficult, since it depends on running application characteristics and underlying computing environments. To address this problem, we propose a hybrid online scheduling technique for GPU-based computing clusters, which minimizes the execution time of a submitted job using dynamic profiles of map tasks running on CPUs or GPUs. Our experimental results using a K-Means application show that the proposed technique achieves 1.02-1.93 times faster than simple techniques, such as ones that CPU only or GPU only schedulings.

Journal

• 情報処理学会研究報告. [ハイパフォーマンスコンピューティング]

  情報処理学会研究報告. [ハイパフォーマンスコンピューティング] 126 E1-E8, 2010-08-03

Details

• CRID: 1573387452365831680
• NII Article ID: 110007995493
• NII Book ID: AN10463942
• ISSN: 09196072
• Text Lang: ja
• Data Source:
  • CiNii Articles