特徴の出現回数に応じた<i>L</i><sub>1</sub>正則化を実現する教師ありオンライン学習手法  [in Japanese] <i>L</i><sub>1</sub> Regularized Online Supervised Learning Using Feature Frequency  [in Japanese]

Access this Article

Search this Article

Abstract

オンライン学習(逐次学習)とは,訓練データを1つ受け取るたびに逐次的に学習を行う手法であり,大規模な訓練集合からの学習が効率化される.L1正則化とは,学習上不要なパラメータを零化する手法で,学習の高速化とメモリ効率の改善が期待される.2009年に提案されたFOBOS7)は上記の2手法を組み合わせた,教師あり学習のためのL1正則化付きオンライン学習手法である.しかしFOBOSでは,特徴の出現回数が不均一な訓練集合では,低頻度の特徴が排除されやすい.FOBOSでは特徴出現頻度やパラメータの累積更新幅とは無関係に全特徴に共通の零化を施すためである.しかし既存のL1正則化付きオンライン学習アルゴリズムでは,この性質は分析されてこなかった.本稿では,パラメータの累積更新幅に応じたL1正則化を構築する手法について述べるとともに,特徴の出現回数の情報を用いたL1正則化を導入した教師あり学習のためのオンライン学習手法(HF-FOBOS)を提案する.さらに,HF-FOBOSは既存手法と同等の計算コスト・収束速度でパラメータの累積更新幅に応じたL1正則化を実現する学習手法であることを確認する.また,HF-FOBOSとFOBOSに対して実問題に基づく実験を行い,出現頻度を利用したL1正則化が精度向上へ寄与することを示した.Online learning is a method that updates parameters whenever it receives a single data. Online learning can learn efficiently from large data set. L1 regularization is used for inducing sparsity into parameters and exclude unnecessary parameters. FOBOS7) combines these two methods described above and presented a supervised online learning method with an efficient L1 regularization. FOBOS has the property the parameters of low frequency features are zeros in a heterogeneous data set. However, this property is not analyzed enough in the field of online learning. In this paper, we presented a new online supervised learning method with L1 regularization based on the number of occurrences of feature, named Heterogeneous Frequency FOBOS (HF-FOBOS). HF-FOBOS can solve optimization problems at same computational costs and convergence rate as FOBOS. Moreover, we examined the performance of our algorithms with classification tasks, and confirmed L1 regularization based on the frequency of features improve accuracy.

Journal

  • 情報処理学会論文誌数理モデル化と応用(TOM)

    情報処理学会論文誌数理モデル化と応用(TOM) 4(3), 84-93, 2011-07-20

Codes

  • NII Article ID (NAID)
    170000066490
  • NII NACSIS-CAT ID (NCID)
    AA11464803
  • Text Lang
    JPN
  • Article Type
    Article
  • ISSN
    1882-7780
  • Data Source
    IPSJ 
Page Top