パイプライン型Two-Phase I/OのLustreにおける性能評価  [in Japanese] Performance Evaluaton of Pipelined Two-Phase I/O on a Lustre File System  [in Japanese]

Access this Article

Search this Article

Author(s)

Abstract

近年,並列計算が扱うデータの大規模化により,I/O は主要なボトルネックとなっており,さらなる高速化が望まれている.また近年のコア数の増加によりメモリ消費が大きくなり安易に大規模なメモリ領域を確保できない.Two-Phase I/O は MPI-IO 実装の 1 つである ROMIO における高性能な集団型 I/O を実現する最適化であるが,性能向上のために確保するメモリ量を大きくする必要がある.また,I/O コストのノード間でのばらつきが性能に影響する問題もある.我々がこれまでの研究において提案した Two-Phase I/O の改良案は,PVFS2 が利用できる小規模な PC クラスタにおいては,条件によってはメモリ利用量を低減した上で性能を向上することが可能であることを示した.しかしながら,より大規模な環境での本実装の評価を行う必要があると考え,本稿では,東京大学情報基盤センター所有の T2K オープンスパコンを用い,Lustre ファイルシステムに対する性能評価を行った.その結果,今回の環境においても条件によってはオリジナルよりもメモリ利用量を低減した上で性能向上を実現できることが確認できた.

Since recent parallel computing applications generate huge scale of data, I/O operation is one of the bottlenecks in performance improvement. Furthermore, available memory size per CPU core is shrinking with an increase in the number of CPU cores. MPI-IO is available as a powerful parallel I/O interface in parallel computations using MPI. ROMIO is one of the well-known MPI-IO implementations, and it adopts an effective implementation scheme named Two-Phase I/O. However, I/O performance improvement requires a large scale of memory resources. Besides unbalanced I/O operation times among MPI processes might bring further performance degradation. We have already proposed a pipelined scheme in the Two-Phase I/O protocol and proven its effectiveness on a small PC cluster with a PVFS2. In order to evaluate its effectiveness on a large scale system, we have evaluated it on a big machine, T2K Open Supercomputer at the University of Tokyo by using a Lustre file system. Here we have evaluated I/O throughput and found its performance advantages relative to the original Two-Phase I/O in parallel with reducing memory resource utilization in some conditions.

Journal

  • IPSJ SIG Notes

    IPSJ SIG Notes 2011-HPC-132(35), 1-8, 2011-11-21

    Information Processing Society of Japan (IPSJ)

Keywords

Codes

  • NII Article ID (NAID)
    110008690477
  • NII NACSIS-CAT ID (NCID)
    AN10463942
  • Text Lang
    JPN
  • Data Source
    NII-ELS 
Page Top