http://www.iteye.com/news/32139
目前深度增强学习的算法都可以包含在Actor-Critic框架下,如图2所示。
![](http://dl2.iteye.com/upload/attachment/0123/0970/eb2bc2e1-5f80-38ca-a2c7-4ed0452dfdfb.png)
图2 Actor-Critic框架
把深度增强学习的算法认为是智能体的大脑,那么这个大脑包含了两个部分:Actor行动模块和Critic评判模块。其中Actor行动模块是大脑的执行机构,输入外部的状态s,然后输出动作a。而Critic评判模块则可认为是大脑的价值观,根据历史信息及回馈r进行自我调整,然后影响整个Actor行动模块。这种Actor-Critic的方法非常类似于人类自身的行为方式。我们人类也是在自身价值观和本能的指导下进行行为,并且价值观受经验的影响不断改变。在Actor-Critic框架下,Google DeepMind相继提出了DQN,A3C和UNREAL等深度增强学习算法,其中UNREAL是目前最好的深度增强学习算法。