Two-Phase I/Oの高速化に関する一検討

書誌事項

タイトル別名
  • Optimization of Two-Phase I/O for High Throughput Parallel I/O

この論文をさがす

抄録

高性能な並列 I/O を提供している ROMIO の集団型 I/O では，Two-Phase I/O と呼ばれる最適化手法が用いられており，ファイルアクセスの回数を最小限にすることで高速化している．しかし，Two-Phase I/O では通信を行うため，プロセス数の増加等による通信コストの増加によって性能が低下する．また，近年，コア数の増加によってノード内の計算プロセスが増加しており，メモリ不足から Two-Phase I/O の性能を十分出せない可能性がある．本研究では，Two-Phase I/O の通信とファイルアクセスを並列に実行することで通信コストを隠蔽し高速化する検討を行う．マルチスレッドと非同期 I/O を用いた 2 つの方法で実装を行い，その性能を評価した．その結果、マルチスレッドによる実装が最も良い性能を示し，また，オリジナル Two-Phase I/O の最高性能を上回った上でメモリ使用量の低減が可能であることが確認できた．一方，非同期処理による実装ではメモリ使用量が厳しく制限される状況において性能を向上できる可能性があることが確認できた．MPI-IO provides fruitful APIs for parallel I/O in MPI programming. One of the well-known MPI-IO libraries named ROMIO adopted several optimization techniques such as Two-Phase I/O. Two-Phase I/O consists of I/O and communication phases to improve performance in accessing non-contigous data patterns in a collective manner. However, increase in the number of MPI process in turn leads to increase in the communication times, and as a result its performance is degraded. Furthermore, we may have a huge scale of data with an increase in the number of CPU cores. Such situation required more memory resources for MPI applications, thus we can not utilize enough memory for Two-Phase I/O to improve performance. Since two-phase I/O has a room to overlap of those operations, we have implemented two schemes; multithreaded and asynchronous operations. We have evaluated the two schemes on PC cluster systems. Through this evaluation, the former scheme outperformed the latter one and reduced the amount of used memory size. On the other hand, the latter one has a little performance advantage compared with the original two-phase scheme when a buffer size for Two-Phase I/O was quite small.

収録刊行物

関連プロジェクト

もっと見る

詳細情報 詳細情報について

  • CRID
    1572543026893289216
  • NII論文ID
    110008583388
  • NII書誌ID
    AN10463942
  • 本文言語コード
    ja
  • データソース種別
    • CiNii Articles
    • KAKEN

問題の指摘

ページトップへ