スパースコーディングを用いた新生ニューロンをもつ連想記憶モデルの相互情報量による最適化と指数的忘却との比較

情報処理学会 Web Site

書誌事項

タイトル別名
  • スパースコーディング オ モチイタ シンセイ ニューロン オ モツ レンソウ キオク モデル ノ ソウゴ ジョウホウリョウ ニ ヨル サイテキ カ ト シスウテキ ボウキャク ト ノ ヒカク
  • Optimization of the Sparsely Encoded Associative Memory Model with Unit Replacement by the Mutual Information and Comparison with the Forgetting Model

この論文をさがす

抄録

先行研究により，新生ニューロンをもつ連想記憶モデルはオーバロードを回避し，最近の記憶を安定して保持することが明らかになった．ただしスパースコーディングの場合，新生ニューロンをもつ連想記憶のネットワークが何をもって想起成功したか判断するのが先行研究では恣意的だった．近年，相互情報量により想起状態の質を測るのが最も良いことが分かってきた．本論文では，新生ニューロンをもつスパースな連想記憶モデルについて，相互情報量を用いて細胞新生数の最適化を行った．さらに比較のために，指数的忘却をもつスパースな連想記憶モデルにおける忘却係数の最適化についても，相互情報量を用いて行った．その結果，従来の想起性能評価である方向余弦とは異なる結果を得た．すなわち，新生ニューロンモデルの場合，相互情報量を最大化するのに最適な細胞新生数は，方向余弦の場合よりも小さい値になったのに対し，指数的忘却モデルの場合は，相互情報量を最大化するのに最適な減衰率が，方向余弦の場合よりも大きい値となった．また方向余弦基準の場合のように，相互情報量基準の場合は恣意的に決める必要がなくなった．

According to the previous researches, the associative memory model with unit replacement, in which a few old units are replaced with new ones at each learning step for embedding a new pattern, could avoid overloading. However, the previous researches decided whether the network could retrieve the stored pattern correctly in an arbitrary manner, in other words, the direction cosine between the memory pattern and the stationary state of the sparsely encoded network. Recently, it has been shown that the mutual information should be the most appropriate concept to measure the retrieval quality, especially for sparsely encoded networks but also in general. In this paper, from the view of information theory, we analyze the sparsely encoded associative memory model with unit replacement. We searched the optimal replacement number to maximize the mutual information of the sparsely encoded network by the numerical simulations. Moreover, for comparison, we also analyze the sparsely encoded associative memory model with the forgetting process, which also avoids overloading. We searched the optimal decay rate to maximize the mutual information at each firing rate by the numerical simulations. Using the mutual information, we obtain the different results of the optimal values from those using the direction cosine. In the case of the unit replacement model, the optimal number of replacement units to maximize the mutual information is smaller than that to maximize the storage capacity using the direction cosine. On the other hand, the optimal decay rate of the forgetting model to maximize the mutual information is larger than that to maximize the storage capacity using the direction cosine.

収録刊行物

関連プロジェクト

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ