並列分散ワークフローシステムPwrakeによる大規模データ処理(宇宙科学情報解析論文誌 第一号)

• 田中 昌宏

  筑波大学計算科学研究センター 独立行政法人科学技術振興機構,CREST

• 建部 修見

  筑波大学計算科学研究センター 独立行政法人科学技術振興機構,CREST

書誌事項

タイトル別名

• Large-scale data processing with Pwrake, a parallel and distributed workflow system (Journal of Space Science Informatics Japan No.1)

抄録

大規模な科学データ処理のため,計算機クラスターによる高性能な並列処理が必要とされている.特別な並列プログラミングを必要とせずにこれを実現するため,私たちはワークフローシステムPwrake を開発している.Pwrake はRake というビルドツールをベースにしており,これによりプログラミング言語を活用した高度な科学ワークフロー定義が可能となる.Rake に並列分散機能およびGfarm ファイルシステムのサポート機能を拡張したものがPwrake である.Pwrake の性能評価のため,天文画像処理ソフトウェアMontage のワークフローをRake で記述し,Pwrake を用いて実行時間を測定した.Gfarm で実行した結果はスケーラブルな性能向上を示し,ローカルストレージの利用を高めることで性能が14% 向上した.さらに2 拠点のクラスタを用いた測定においてもスケーラブルな性能向上を達成した.

収録刊行物

• 宇宙航空研究開発機構研究開発報告

  宇宙航空研究開発機構研究開発報告 11 67-75, 2012-03

  宇宙航空研究開発機構

キーワード

• Scientific Workflow
• Distributed System
• Astronomy Data

詳細情報

• CRID: 1570854177932332416
• NII論文ID: 110009103289
• NII書誌ID: AA1192675X
• ISSN: 13491113
• 本文言語コード: ja
• データソース種別:
  • CiNii Articles