データ再配置機構を備えたBSPモデルに基づくデータ並列ミドルウェア

情報処理学会 Web Site

書誌事項

タイトル別名
  • データ サイハイチ キコウ オ ソナエタ BSP モデル ニ モトズク データ ヘイレツ ミドルウェア
  • Data Parallel Middleware with a Data Relocation Mechanism Based on the BSP Model

この論文をさがす

抄録

データ再配置機構を備え，keyつきおよびkeyなしデータ要素を処理対象とするBulk Synchronous Parallel（BSP）モデルに基づくデータ並列ミドルウェアを開発し，スケーラビリティ性能評価を行った．BSPモデルでは，各サーバ上でデータがローカル処理されるため，サーバ間の負荷を平準化するにはデータの再配置が必要になる．本ミドルウェアは，データ要素間の独立性を利用することで，データ要素に対する並列計算実行中にもデータ要素単位での再配置を可能とする．3種類のアルゴリズム（EMアルゴリズム，K-means法，ロジスティック回帰学習）について性能評価した結果，上記非同期データ再配置方式は既存の同期データ再配置方式と比較して，データ再配置性能が最大37%向上することを確認した．また動的な負荷変動がある環境において，非同期データ再配置方式は同期データ再配置方式と比較して，計算性能が最大15.8%向上することを確認した．

We developed a data parallel middleware with a data relocation mechanism based on the Bulk Synchronous Parallel (BSP) model in which data elements with key and without key can be processed, and made evaluation for scalability. In the BSP model, data relocation is needed for load balancing between servers because data is processed locally on each server. This middleware enables to relocate each data element during parallel calculation for data elements by using independence between data elements. Performance evaluation for three algorithms (EM algorithm, the K-means method, logistic regression learning) shows the asynchronous data relocation method which is mentioned above is up to 37% faster than the existing synchronous data relocation method for data relocation, and shows the asynchronous data relocation method is up to 15.8% faster than the synchronous data relocation method for data processing on the environment with dynamic load fluctuation.

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ