並列ジョブのファイルI/Oをひとつのファイルに集約する方式の提案と予備評価 Proposal and preliminary evaluation of a mechanism for file I/O aggration to one file in a parallel job

この論文にアクセスする

この論文をさがす

抄録

並列ジョブにおける多数ファイルに対する I/O をひとつのファイルに対する I/O に集約することによりファイル I/O を高速化する方式を提案する.各プロセスごとにファイルを作成し,データを書き出すというファイル I/O パターンをとるアプリケーションが多くある.しかし,現在普及している並列ファイルシステムは,少数の大きなデータ I/O で高い性能がでるように設計されており,プロセスごとにファイルを作成するという I/O パターンでは高い性能がでない.そこで,並列ジョブにおけるファイル I/O をひとつのファイルに集約し,少数の大きなデータ I/O にする方式を提案する.Lustre 上で予備評価を行った結果,並列プロセスがそれぞれ 1MB のファイルを 128 個 I/O する場合,2-3 倍の性能向上を確認した.In many parallel applications, each process creates process independent files. However, many existing parallel file systems are designed for large data I/O operations on a few files, and exhibit low performance for small data I/O operations while accessing lots of files. In our proposed approach, small file I/O operations are aggregated to have large I/O operations and converted to access one large file. Preliminary evaluation using Lustre shows that the parallel write/read of 1MB x128files per each process is 2-3 times faster than the original I/O.

収録刊行物

  • 研究報告ハイパフォーマンスコンピューティング(HPC)

    研究報告ハイパフォーマンスコンピューティング(HPC) 2011-HPC-132(34), 1-6, 2011-11-21

各種コード

  • NII論文ID(NAID)
    110008713540
  • NII書誌ID(NCID)
    AN10463942
  • 本文言語コード
    JPN
  • 資料種別
    Technical Report
  • データ提供元
    NII-ELS  IPSJ 
ページトップへ