李宏毅深度强化学习(国语)课程(2018)
李宏毅深度强化学习(国语)课程(2018)_哔哩哔哩_bilibili
Q-learning是基于值函数的方法,并不是learn的policy,而是learn的critic,critic并不直接采取行为,而是评价现在的行为有多好,或者多不好。
两种衡量的方法,一种是Monte-Carlo(MC)方法,一种是Temporal-difference(TD)方法。
Monte-Carlo方法,让actor去和环境做互动,给critic看。critic估测,当前的状态s接下来的cumulated reward会有多大。但实际操作上,不可能把所有的state通通都扫过,所以通常是一个network,对于一个network来说,就算是一个state从来没有看过,也可以估测出一个value的值。
训练这个network的时候,就是(sa,Ga),(sb,Gb),希望Ga与越近越好,Gb与越近越好。
MC方法需要玩到游戏结束,才能update network。TD基于下式计算,不需要将游戏玩到底。按照与越接近越好的loss 训练下去。
MC与TD方法对比,TD方法比较常用。
举例说明
介绍另外一种critic,当action无法穷举,使用左图。
虽然表面上learn一个Q function,来评估一个actor π的好坏,但是,实际上有了这个Q function,我们就可以做reainforcement learning。
假设有一个初始的actor π,用π跟环境互动,collect data,然后learn 一个actor π的Q value。
learn 出一个Q function以后,下面介绍一个方法,可以找到一个新的policy π',要比原来的policy π要好,以下定义了什么是“好”。其实,π'是依赖于π的,没有具体的参数。注意:下式适合离散动作,后面解决连续动作问题。
证明新的policy π',要比原来的policy π要好。
技巧1:target network
技巧2:Exploration
如果每个动作没有采取过,那么估出来的动作是不准确的,所以需要探索。
技巧3:Replay Buffer
Batch里面是不同的policy的采样,data越divergence越好。这里experience是不是来自于同一个policy π并没有关系,只是用来估测值。
Q-learning算法流程: