一一中文网

手机浏览器扫描二维码访问

第85章 学习强化学习（第3页）

接着是构建智能体。

他决定先用相对简单的dqN试试水。

在pytorch框架下，他搭建了一个包含几层全连接网络的q网络，输入是状态向量，输出是三个动作对应的q值。

训练开始。

他让智能体在历史数据上“回测”

，一开始完全是随机探索，买买卖卖。

看着模拟账户曲线像过山车一样上蹿下跳，林晨哭笑不得。

训练过程极其缓慢，而且非常不稳定。

有时智能体似乎学到了一点东西，知道在下跌时卖出，但很快又会陷入疯狂交易的怪圈，累积的手续费就把模拟利润吃光了。

“奖励稀疏……动作对收益的影响有延迟……市场状态非马尔可夫……”

他一边盯着训练日志里几乎不增长的累计奖励，一边揪着头发总结问题。

经典的“稀疏奖励”

和“信用分配”

难题活生生摆在眼前。

一次成功的买入，可能得益于几天前某个卖出动作避免了更大亏损，但智能体很难建立起这种长程的因果关系。

他尝试调整奖励函数，加入一些基于技术面判断的“塑形奖励”

（ShapingReward），比如当价格突破均线时给予微小正奖励，试图引导学习。

也尝试了更复杂的网络结构，加入LStm层来处理时间序列特征。

连续三天的调试，每天对着屏幕超过十四小时。

苏婉晚上进来送水果，看到他眉头紧锁、屏幕上满是曲折的损失函数曲线和乱七八糟的交易信号图，轻轻叹了口气，把水果放下，默默带上门。

第四天深夜，林晨遇到了一个更棘手的问题：过拟合。

智能体在训练数据（某一段历史时期）上表现得似乎不错，累计奖励开始缓慢上升，但换到另一段“未见过的”

历史数据（验证集）上测试，表现就一塌糊涂，甚至不如随机策略。

“它在死记硬背特定历史行情下的‘正确答案’，而不是学会通用的交易原则”

。

林晨靠在椅背上，感到一阵深深的疲惫和挫败。

窗外的灯火已稀疏，城市进入沉睡。

屏幕的光映着他眼里的血丝。

他关掉训练程序，起身走到窗边，做了几个深蹲，活动了一下僵硬的脖颈。

冷水洗了把脸，回来坐下，没有继续钻牛角尖调试参数，而是打开了另一个文档——他的求职简历。

简历上，“项目经验”