複利型強化学習を用いたポートフォリオ選択手法についての研究

IPSJ Open Access

Bibliographic Information

Other Title
  • A Study on Portfolio Selection Using Compound Reinforcement Learning

Search this article

Abstract

本論文では，従来の投資比率を最適化する手法からポートフォリオの最適な重みを学習させる手法へと複利型強化学習の拡張を行う．複利型強化学習とは通常の強化学習を，二重指数割引を導入することによって割引複利リターンを最大化するような形に拡張したものである．いくつかの資産の中から1つの投資先を決定するような研究はなされてきたが，資産をポートフォリオとして所有していた場合に，それぞれの資産への最適な投資比率を複利型強化学習を用いて学習する手法については明らかにされていない．本研究では各資産への最適な重みを学習させることを目的とする．複利リターンを最大化する投資比率のことをケリー基準と呼ぶが，このケリー基準と一致するような重みの実現を目指す．多腕バンディット問題に本提案手法を適用し，幾何平均リターンで運用成績を評価することによって，有用性の確認を行う．ポートフォリオとして資産運用した方が，複数の投資先の中から1つを選ぶ場合よりも高い幾何平均リターンが得られることの確認，および学習した各資産への重みとケリー基準値の比較を行い，最適な重みの学習が可能であることを検証する．

In this paper, we have expanded the compound reinforcement learning method to optimize portfolio weights from optimizing the investment ratio. Compound reinforcement learning is an extension of ordinary reinforcement learning to maximize discounted compound return by introducing double exponential discount. There are studies that determine one investment destination from multiple assets, but learning methods using compound reinforcement learning with optimal weights for each asset when owning assets as portfolios have not been clarified. Therefore, we aim to learn the optimum weight for each asset of the portfolio. The investment ratio that maximizes compound return is called Kelly criterion. We set out to obtain weight that matches Kelly criteria. For that purpose, we applied this proposed method to multi-armed Bandit problems. After that, we confirmed its application by evaluating investment performance with geometric mean return. As a result, we found that asset management as a portfolio increases geometric mean return than choosing one among multiple investment outlets. Furthermore, since the weight for each asset learned was close to the Kelly criterion, we were confirmed that the optimum weight can be learned by this proposed method.

Journal

Related Projects

See more

Keywords

Details 詳細情報について

Report a problem

Back to top