简介：
本文采用强化学习+神经网络的框架，训练一个股票交易系统，并在个股上进行了测试。
下面为详细记录：
上面这个图是一个强化学习的交易模型。这个图是out sample的交易结果。2012~2015年的数据为训练数据，2015为out sample测试。
红线为伊利股份的股价，蓝线为交易净值。跑赢基准40个百分点。
上面这个图显示的是模型在训练过程中的表现，在125个训练周期之后，模型能稳定的跑赢基准约40个百分点。
然而不幸的是，这种交易效果的模型无法再次训练出来。
有两种可能：
1 神经网络的loss函数是非凸函数，由于初始参数的不同，很难再次优化到这样的模型参数。
（这意味着股市存在可盈利的模式，只是很难找出来。）
2 这样的收益仅仅是巧合。
做了各种尝试（不同的loss函数，增加神经网络的隐层，对交易频率的不同惩罚系数）
通过20次试验，在训练集中得到的模型在测试数据中都没有稳定的作用。典型的试验结果：
loss函数的不断优化，loss减小，训练时间段的netValue（图中下半截的蓝色线）增加，具有非常强的相关性。而测试时间段的netValue（图中下半截的黄色线）基本没有相关性。
训练集得到的模型在测试集上没有效果，看了股价要从历史的股价运动中总结规律，并要在未来起作用是很难的。