ワークフロー実行中のデータ移動を最小化するタスク配置方式

• 田中 昌宏

• 建部 修見

書誌事項

タイトル別名

• New Method of Task Assignment for Mininum Data Movement in Workflow

抄録

膨大な科学データの処理が伴うデータインテンシブサイエンスでは，高い並列 I/O 性能が求められる．そのためには，できるだけ処理タスクをデータが保管されているノードに割り当て，ノード間のデータ移動を少なくすることが必要である．ワークフローにおいてデータ移動を最小化するためには，ワークフロー全体の依存関係に基づき，タスクをどの計算ノードに配置するかを決める必要がある．最適なタスク配置方式をワークフローのグラフから自動的に求めるため，本研究では，ワークフローのグラフに対して，多制約グラフ分割を適用する手法を提案する．この提案手法を Montage ワークフローに適用した結果，ノード間のデータ移動がデータアクセス全体の 14% に削減され，これにより実行時間が 31% 短縮された．High-performance parallel I/O is one of key issues for data-intensive sciences which handles huge amount of science data. In order to achieve highperformance parallel I/O, it is necessary to exploit data locality, that is, closeness of computation and storage. As for the workflow execution, the overall dependency of workflow tasks determines which node to be selected for each task. In order to achieve an optimal assignment of tasks to compute nodes, we propose a new method of task assignment by applying multi-constraint graph partitioning to workflow graphs. The performance of distributed parallel workflow based on the proposed method is evaluated. The result shows that file access to different sites is reduced to 14% of the total sizes of file accesses in the workflow, and that the elapsed time is reduced by 31%.

収録刊行物

• 研究報告ハイパフォーマンスコンピューティング（HPC）

  研究報告ハイパフォーマンスコンピューティング（HPC） 2011 (61), 1-8, 2011-07-20

詳細情報

• CRID: 1570572702056273792
• NII論文ID: 110008583417
• NII書誌ID: AN10463942
• 本文言語コード: ja
• データソース種別:
  • CiNii Articles