MPI-IO/Gfarm：分散ファイルシステムGfarmのためのMPI-IOの実装と評価

機関リポジトリ 情報処理学会 HANDLE Web Site オープンアクセス

書誌事項

タイトル別名
  • MPI-IO/Gfarm: An Implementation and Evaluation of MPI-IO for the Gfarm File System
  • MPI-IO/Gfarm:ブンサン ファイル システム Gfarm ノ タメ ノ MPI-IO ノ ジッソウ ト ヒョウカ

この論文をさがす

抄録

本稿では，分散ファイルシステムGfarmのためのMPI-IO実装，MPI-IO/Gfarmについて述べる．Gfarmファイルシステムは広域にまたがる複数のクラスタ内の計算ノードのストレージをまとめ1つのネームスペースで管理することを可能にする．Gfarmファイルシステムは，計算ノードのローカルストレージの利用，ファイル複製の利用によりスケーラブルなファイルアクセス性能を実現している．しかし，MPI-IOにおける典型的なアクセスである複数のプロセスが単一のファイルに対して書き込みを行う場合においては，性能はスケールしない．本稿では以上の場合の性能改善を主な目的とし，最適化手法の提案と実装について述べる．性能評価では，IOR，HPIO，BTIOを用いた評価を行い，PVFS2，NFSとの比較を行った．提案手法を用いることでノード数に対してスケーラブルな結果が得られ，PVFS2との比較においても2倍から3倍程度MPI-IO/Gfarmが良い性能を示した．

This paper proposes a design and implementation of an MPI-IO implementation of the Gfarm file system, called MPIO/Gfarm. The Gfarm file system is a global file system that federates the local storage of compute nodes among several clusters. It has a scale-out architecture designed to support distributed data-intensive computing. However Gfarm file system does not achieve scalable performance in the case of parallel writes to a single file, a typical file operation in MPI-IO. This paper proposes an optimization technique to improve the parallel write performance to a single file. In the evaluation using BT- IO, IOR and HPIO, MPI-IO/Gfarm achieves scalable parallel I/O performance. Compared with MPI-IO on PVFS2 and NFS, it achieves at most a 1.5x speedup of write performance and 2.0x to 3.0x speedup of read performance using seven storage nodes.

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ