強化学習を用いたチーム編成の効率化モデルの提案と環境変化に対する評価

IPSJ Web Site

Bibliographic Information

Other Title
  • キョウカ ガクシュウ オ モチイタ チーム ヘンセイ ノ コウリツカ モデル ノ テイアン ト カンキョウ ヘンカ ニ タイスル ヒョウカ
  • Efficient Team Formation Based on Learning and Reorganization and Influence of Change of Tasks

Search this article

Abstract

インターネット上のサービスに対応したタスクは，それを構成する複数のサブタスクを処理することで達成される．効率的なタスク処理のためには，サブタスクを対応する能力やリソースを持つエージェントに適切に割り当てる必要がある．我々はこれまで，強化学習とそれに基づくネットワーク構造の再構成により，チーム編成とネットワーク構造を同時に効率化する手法を提案してきた．さらに，通信遅延の生じる環境においても既存手法より効率的なチームを編成できることを示した．しかし，そこで用いた機械学習は，近隣のエージェントの内部状態を既知としており，必ずしも現実のシステムと合致していない．また，実験で仮定したエージェントの配置も固定的であった．そこで本論文では，まず提案手法を，他のエージェントの内部状態ではなく，近隣からのメッセージと遅延を考慮した減衰率から報酬を求め，それに基づいてQ学習するようにモデル化する．次に，エージェントの配置もランダムに行い，多様な配置の初期状態にかかわらず，学習と組織構造の変化を組み合わせることで既存手法よりも効率化できることを示す．さらに，タスクの量・種類といった環境の変化についても，効率的なチーム編成が可能なことを実験により評価する．

A task in a distributed environment is usually achieved by doing a number of subtasks that require different functions and resources. These subtasks have to be processed cooperatively in the appropriate team of agents that have the required functions with sufficient resources, but it is difficult to anticipate, during the design stage of the system, what kinds of tasks will be requested in the dynamic and open environment. We already showed that the proposed method combines the learning for team formation and reorganization in a way that is adaptive to the environment and that it can improve the overall performance and increase the success in communication delay that may change dynamically. However, in the previous method, we assume that agents know the internal states of neighboring agents to learn the appropriate actions; this is not always available in real systems. In this paper, we propose the method of distributed team formation that uses modified Q-learning combining the reward and successful messages from downstream agents and their times elapsed from task requests. We also perform a number of experiments in more general deployment of agents. We show that it can improve the overall performance and can adapt to the environments that may change the range and quantity of tasks.

Journal

Related Projects

See more

Keywords

Details 詳細情報について

Report a problem

Back to top