2次元探索共役勾配法を用いた多層神経回路網の高速学習法

• 吉田, 利信

書誌事項

タイトル別名

• Rapid Learning Method for a Multilayered Neural Network Using a Conjugate Gradient Method with Two - Dimensional Search
• 人工知能および認知科学

抄録

多層神経回路網の結合係数を学習する逆伝播学習法は自助微分法の一種である.本論文では 自動微分法および自動微分法を用いた2次元探索共役勾配法の概要が示され この2次元探索共役勾配法を用いた多層神経回路網の高速学習法が提案されている.本方法は逆伝播法の学習パラメータと慣性パラメータを自動的に制御する共役勾配法であり 最急降下法である逆伝播法よりも少ない回数の繰返しで収束する.本方法にはヘッセ行列の2次形式などの計算が含まれているため ヘッセ行列を求めてからこれらの値を計算すると 神経回路網の大きさの2乗に比例した計算領域と計算量が必要となる.しかし自動微分法を用いることにより 神経回路網の大きさに比例した計算領域と計算量でこれらの値を計算することが可能である.本論文で提案されている高速学習法は 逆伝播法の高々6倍の計算量で1回の繰返し計算をする共役勾配法である.数値実験において逆伝播法 慣性項をともなう逆伝播法 学習パラメータと慣性パラメータを逐次変化させる逆伝播法および本高速学習法を用いた実験結果が比較され 本方法を用いることによって これらの逆伝播学習法よりもかなり少ない反復回数で学習が収束し 繰返し1回あたりの計算時間が逆伝播法約倍となったことが示されている.

収録刊行物

• 情報処理学会論文誌

  情報処理学会論文誌 31 (7), 988-995, 1990-07-15

  一般社団法人情報処理学会

キーワード

• 論文

詳細情報

• CRID: 1050564287842505216
• NII論文ID: 110002724630
• NII書誌ID: AN00116647
• ISSN: 18827764
• Web Site: http://id.nii.ac.jp/1001/00015014/
• 本文言語コード: ja
• 資料種別: journal article
• データソース種別:
  • IRDB
  • CiNii Articles