Q-Learning
off-policy
1.公式解读
https://www.zhihu.com/question/26408259
2.公式=>矩阵示例
房间最优路径问题
https://blog.csdn.net/lwb102063/article/details/52734861
http://mnemstudio.org/path-finding-q-learning-tutorial.htm
注意点:
1.QL的完整公式以及简化公式 核心都在于计算当前的Q
Q=动作效用,agent brain
Q(S,A) 位置S使用执行动作A的策略
2.两个可调参数
α越大之前训练的效果越弱(越加难以收敛？？)
γ越小 越加greedy,只重视眼前reward
(1-α为学习速率)*Q(S,a) +
α * {Reward是奖励矩阵 + γ折扣因子 * Q(S’,a)是下一步的最大收益}
3.随机+greedy
不完全按照最优解选择策略 = 避免局部最优+探索更多可能
结论:
Q-learning可以学习到全局最优,但是收敛缓慢
