一一中文网

手机浏览器扫描二维码访问

第85章 学习强化学习（第2页）

第一天，搞懂马尔可夫决策过程（mdp）、价值函数（ValueFunction）、策略梯度（policyGradient）这些核心概念。

厚厚的pRmL（patternRecognitionandmachineLearning）书和相关博客文章成了他主要的精神食粮。

三十五岁的大脑重新像海绵一样吸收这些略显抽象的数理知识，有时一个公式要推导好几遍，在草稿纸上写满才豁然开朗。

“状态（State）、动作（Action）、奖励（Reward）、策略（policy）……”

他像念经一样重复着这些术语，试图将它们烙印在思维里。

理解到一定程度后，他开始尝试用python写一些最简单的模拟环境，比如一个简化的“股票赌大小”

游戏，来验证最基本的q-learning算法。

第二天和第三天，他集中火力攻克两个当下最主流的深度强化学习算法：dqN（deepq-Network）和ppo（proximalpolicyoptimization）。

dqN算是深度强化学习的开山之作之一，用深度神经网络来近似q值函数（评估在某个状态下采取某个动作的长期价值）。

林晨仔细研究了其核心技巧：经验回放（ExperienceReplay）和目标网络（targetNetwork）。

经验回放就是把智能体与环境交互的经历（状态、动作、奖励、新状态）存储起来，然后随机抽样进行训练，打破数据间的相关性，提高稳定性。

目标网络则是单独用一个更新较慢的网络来提供q值目标，缓解训练震荡。

“这思路妙啊”

，林晨看着代码实现，忍不住赞叹，“就像人不能只盯着最近一笔交易的得失，要时不时回顾总结过去的各种交易情况（经验回放）。

也不能因为今天赚了点就立刻飘了，得有个相对稳定的自我评价基准（目标网络）”

。

而ppo则属于策略梯度家族，直接优化策略函数本身。

它通过一个“裁剪”

技巧，限制每次策略更新的幅度，确保训练更加稳定。

林晨发现，ppo在连续动作空间（比如决定买卖多少比例仓位）或者更复杂的策略建模上往往比dqN更有优势。

“dqN更像是在学习‘在什么情况下做什么动作最好’的查表，而ppo是在学习一套‘行为准则’本身”

。

他尝试用自己理解的语言总结。

理论学习告一段落，林晨摩拳擦掌，准备动手将RL融入他的投资系统。

这才是真正的挑战。

他首先需要定义“环境”

。

他选取了A股市场某只流动性较好的EtF（交易所交易基金）的分钟级历史数据，时间跨度三年。

环境的状态（State）设计为过去N分钟的价格序列、成交量、以及一些技术指标（如RSI、mAcd）的向量。

动作（Action）简化为三个：买入（全仓）、卖出（清仓）、持有。

奖励（Reward）则定义为每次动作转换后持仓市值的变化率（考虑手续费）。