ディジタル・アナログ協調型強化学習  [in Japanese] Reinforcement learning to train cooperative networks with both digital and analog motor neurons  [in Japanese]

Search this Article

Author(s)

Abstract

アメフラシえら引き込み反射の神経活動を光学多点計測し、得られたデータを再現する神経回路網モデルを構築したところ、この神経回路網にはディジタル的な応答特性を持つディジタル運動ニューロンとアナログ的な応答特性を持つアナログ運動ニューロンを共存していることがわかった。このディジタル・アナログ共存を用いたディジタル・アナログ協調型強化学習法を提案し、倒立振り子に適用したところ、アナログ出力によって、リミットサイクルに近い安定な動きを示す制御法を、ディジタル出力ニューロンと同程度の速さで学習することができた。

We have been studying the information processing mechanism of the gill-withdrawal neural network of the sea slug Aplysia using multi-channel optical recording.Neurons active during the gill- withdrawal reflex were classified into 5 groups based on their firing patterns.From the simulation results of a neural network model simulating firing pattern,two distinct types of motor neurons,digital and analog motor neurons,were found.We proposed a reinforcement learning algorithm to train cooperative networks with both the digital and analog motor neurons.Networks were trained to control an inverted pendulum.The cooperative networks showed limit-cycle-like stable movements.In the cooperative networks,the digital motor neuron quickly learns the coarse control,then the analog one learns the fine control by maximizing reinforcement prediction used in this algorithm.

Journal

  • IEICE technical report. Neurocomputing

    IEICE technical report. Neurocomputing 94(40), 41-48, 1994-05-19

    The Institute of Electronics, Information and Communication Engineers

Codes

  • NII Article ID (NAID)
    110003233337
  • NII NACSIS-CAT ID (NCID)
    AN10091178
  • Text Lang
    JPN
  • Data Source
    NII-ELS 
Page Top