Grid RPC における広域データ管理レイヤの利用

• 相田, 祥昭

• 中島, 佳宏

• 佐藤三久

• 建部修見

• 櫻井, 鉄也

書誌事項

タイトル別名

• Grid RPC ニ オケル コウイキ データ カンリ レイヤ ノ リヨウ
• Performance Improvement by Distributed Data Management Layer on Grid RPC System

抄録

これまで Grid RPC では各ワーカごとに共通に使用されるデータや呼び出しごとに変化するパラメータの転送を同じデータ通信レイヤ上で行ってきた。しかし、RPC モデルでは通信はマスタ / ワーカ間で 1 対 1 で行われるため、ネットワークトポロジを意識した効率的なデータ転送を行うことが難しい。またワーカ間の直接のデータ授受は不可能であるため、マスタを介した RPC 通信が必要である。そこで我々は、データ転送を効率化してスケーラビリティの向上を図るためにワーカ間で共通に使用されるデータと呼び出しごとに異なるパラメータデータの転送を分離するモデルを提案する。そしてこのモデルを用いたデータ管理レイヤ OmniStorage を設計・実装し、性能評価を行った。ネットワークトポロジを考慮しツリー状にデータのブロードキャスト転送を行うシステムと、P2P モデルを用いたファイル転送ソフトウエアである BitTorrent を使うシステム、広域分散ファイルシステムである Gfarm を利用したシステムをそれぞれ実装し、性能評価を行った。その結果、Grid RPC 単体の場合よりも提案システムも併用する方が性能面やスケーラビリティに関して優位性があることが分かった。さらに、Grid RPC アプリケーションでのブロードキャストや one-to-one，all-to-all などの必要な通信パターンを基に、データ転送レイヤを選択することが性能面やスケーラビリティに関して有効なことが分かった。

Grid RPC applications often need large size of shared data to initialize worker programs. Conventional grid RPC model only transfers data by RPC’s parameters from a master to a worker for both shared data and RPC’s parameters. Since the RPC model supports point-to-point communication between a master and workers, it is difficult to achieve efficient data transfer. Furthermore in the conventional RPC model each worker does not communicate directly with other workers. To address this kind of the issues, we have designed and implemented a data management layer OmniStorage that augments functionality of the grid RPC model. It decouples the data transmission from RPC mechanism aiming to achieve the efficient data transfer fand choose a suitable data transfer method of OmniStorage. We have implemented OmniStorage on three data transfer methods; tree-topology-aware data broadcasting middleware, BitTorrent protocol for P2P file sharing and Gfarm as a distributed parallel file system. We evaluated the basic performance of three implementation using synthetic benchmark programs. The proposed system achieved better performance than the original OmniRPC system in terms of both scalability and efficiency of data transfer. We found that selecting a data transfer method gave an impact on both the performance and scalability of applications with OmniStorage.

収録刊行物

• 情報処理学会論文誌コンピューティングシステム（ACS）

  情報処理学会論文誌コンピューティングシステム（ACS） 48 (SIG13(ACS19)), 127-144, 2007-08-15

  東京 : 情報処理学会

キーワード

• グリッド

詳細情報

• CRID: 1050845762823255424
• NII論文ID: 110006367088
• NII書誌ID: AA11833852
• ISSN: 18827829
• ISSN: 03875806
• NDL書誌ID: 8862173
• Web Site: http://id.nii.ac.jp/1001/00018233/
• Web Site: https://ndlsearch.ndl.go.jp/books/R000000004-I8862173
• 本文言語コード: ja
• 資料種別: article
• データソース種別:
  • IRDB
  • NDL
  • CiNii Articles
  • KAKEN