强化学习(RL)：序列决策
本质: 根据实际情况不断改变方法以达到最优解吧
出现原因：
1）增量式的参数更新 (Incremental Parameter Adjustment) ，从输入到输出，有梯度下降完成（增量小，学习过程缓慢（每个增量都需要非常小，才不至于让新学到的信息，把之前学到的经验覆盖了 (这叫做“灾难性干扰”) ））
DRL解决方案： 加入RNN时许思想，从过去的事件里学到的信息，都可以立刻派上用场
2）弱归纳偏置 (Weak Inductive Bias) ，任何学习过程，都要面临“偏见-方差权衡”。
给一个定量（偏见），AI快速得到结恶果
DRL解决方案：借鉴过去的经验，给一个狭窄的范围
进化算法：
fitness函数的值，往往就是我们想要的最终结果了，迭代其实只是为了去在函数空间中采点，去搜寻逼近最优的那个值的点
区别：强化学习迭代虽然同样也是为了去在函数空间中采样，但却是为了逼近一个累计的最优值。因此关注时许的累积
贝叶斯优化：
利用先验知识逼近未知目标函数的后验分布，关注各种超参数