自乗値ペナルティ項を用いた2次学習アルゴリズム

情報処理学会 Web Site 参考文献26件

書誌事項

タイトル別名
  • ジジョウチ ペナルティコウ オ モチイタ 2ジ ガクシュウ アルゴリズム
  • Second - order Learning Algorithm with Squared Penalty Term
  • ニューラルネット

この論文をさがす

抄録

3層ニューラルネットの教師あり学習目的関数に3種のペナルティ項を付加したときのそれぞれの学習性能を，1次と2次の学習アルゴリズムを用いて比較評価する．非線型回帰問題と多クラス分類問題を用いた実験では，自乗値ペナルティ項と2次学習アルゴリズムの組合せが，適切なペナルティ係数値において，最も高い汎化性能を示すとともに，最も高速に収束したことを示す．また，ペナルティ項の種類により学習性能がなぜ異なるかを誤差曲面の観点から論じる．最後に，最適なペナルティ係数を決定するのに交差検証法が有効に利用できることを示す．

This paper compares three penalty terms with respect to the efficiency of supervised learning,by using first- and second-order learning algorithms.Our experiments showed that for a reasonably adequate penalty factor,the combination of the squared penalty term and the second-order learning algorithm drastically improves the convergence performance in comparison to the other combinations,at the same time bringing about excellent generalization performance.Moreover,in order to understand how differently each penalty term works,an error surface evaluation is described.Finally,we show how cross-validation can be applied to find an optimal penalty factor.

収録刊行物

参考文献 (26)*注記

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ