経験データ重み付けによるDeep Q Networkの高速化  [in Japanese] Accelerate Deep Q Network by weighting experiences  [in Japanese]

Access this Article

Author(s)

Abstract

<p>Deep Q Network(DQN)は行動価値関数をディープニューラルネットワークによって近似するものであり、人間を上回る行動選択能力を獲得するに至っている。しかし、DQNは学習速度が極めて遅い。DQNはエージェントが観測したデータ郡(経験データ)をメモリ内に保存し、そこから等確率でランダムにサンプリングした経験データを用いて学習を進めていくが、経験データは出現率が異なるため、出現率の高い経験データに対する学習は冗長に行われ、低いものに対する学習はなかなか進まない。そこで、出現率の低い経験データを重要な経験データとして扱い、サンプリングされる確率を操作することで学習効率を高めることができると考えられる。Atari2600のPongで実験した結果、DQNの学習速度を改善することができた。</p>

Journal

  • Proceedings of the Annual Conference of JSAI

    Proceedings of the Annual Conference of JSAI JSAI2018(0), 2P201-2P201, 2018

    The Japanese Society for Artificial Intelligence

Codes

Page Top