一.Agent

1. 如果一位人类询问者在提出一些书面问题以后不能区分书面回答是来自人还是计算机，那么这台计算机通过图灵测试。

2.AI可以像人一样思考和行动，即合理的思考和行动。

3.理性意味着最大化预计的效用

理性智能体的概念——追求尽可能好的表现，agent的特征是感知和决策。

agent = 体系结构 + 程序

理性agent的定义：

对于每一个可能的感知序列，根据已知的感知序列提供的证据和Age t具有的先验知识，理性agent应该选择能使其性能度量最大化的行动。理性不等于完美，理性是使期望的性能最大化，而完美是使实际的性能最大化。

agent的本质是根据感知作出决策

4.环境的类型

全部可观测/部分可观测

单智能体/多智能体

确定的/随机的

片段式的/延续式的

离散的/连续的

5.agent的类型

反射智能体

基于目标的智能体

基于效用的智能体

二.搜索问题

1.初始状态、行动和转移模型定义了问题的状态空间。问题由状态空间、路径耗散和目标测试定义。

2.对于搜索树的每个结点，定义的数据结构包含四个元素：

state:对应状态空间的状态

parent：搜索树中产生该结点的结点

action:父节点生成该结点所采取的行动

Path-Cost:代价，初始结点到该结点的路径消耗

3.深度优先搜索：栈 ，总是扩展树的当前边缘结点集中最深的结点。深度优先搜索不是最优的，它的优势在于空间复杂度

宽度优先搜索：队列，时间和空间都是指数级开销。先扩展根结点，接着扩展根结点的所有后继，然后再扩展它们的后继，以此类推。

一致代价搜索：当每一步的行动代价都相等时宽度优先搜索是最优的，因为它总是扩展深度最浅的未扩展结点。更进一步，我们可以找到一个对任何单步代价函数都是最优的算法。不再扩展深度最浅的结点，一致代价搜索扩展的是路径消耗g(n)最小的结点n。这可以通过将边缘结点集组织成按g值排序的队列来实现。除了按路径代价对队列进行排序外，一致代价搜索和宽度优先搜索有两个显著的不同。第一点是目标检测应用于结点被选择扩展时，而不是在结点生成的时候进行，理由是第一个生成的目标结点可能在次优路径上。第二个不同是如果边缘中的结点有更好的路径到达该结点那么会引入一个测试。

4.（有信息）启发式搜索策略

（1）贪婪最佳优先搜索试图扩展离目标最近的结点，理由是这样可能可以很快找到解。启发式函数的质量很重要。

与深度优先搜索类似，即使是有限状态空间，它也是不完备的。达不到最优解，死循环

（2）A*搜索：缩小总评估代价

该方法对结点的评估结合了g(n),即到达此结点已经花费的代价，和h(n),从该结点到目标结点所花代价。

h(n)是从结点n到目标结点的最小代价路径的估计值。如果我们想要找到最小代价的解，首先扩展g(n)+h(n)值最小的结点是合理的。假设启发式函数h(n)满足特定的条件，A*搜索既是完备的，也是最优的。算法与一致代价搜索类似，除了A*使用g+h而不是g

目标结点出队时截止

保证最优性的条件：可采纳性和一致性。

可采纳启发式指不会过高的估计到达目标的代价，f(n)永远不会超过经过结点n的解的实际代价。

一致性：如果对于每个结点n和通过任一行动a生成的n的每个后继结点n'，从结点n到达目标的估计代价不大于从n到n'的单步代价与从n‘到达目标的估计代价之和。

三.约束满足问题

1.使用要素表示来描述状态：即一组变量，每个变量有自己的值。当每个变量都有自己的赋值同时满足所有关于变量的约束时，问题就得到了解决。CSP搜索算法利用了状态结构的优势，使用的是通用策略而不是问题专用启发式来求解复杂问题。主要思想是通过识别违反约束的变量/值的组合迅速消除大规模搜索空间。

2.CSP的回溯搜索

CSP有一个至关重要的性质：可交换性

如果行动的先后顺序对结果没有影响，那么问题就是可交换的。

一次一个变量，检查约束

改进：最少剩余值启发式，选择合法取值最少的变量。也称为最受约束变量或失败优先启发式

剩余值最少意味着约束最多

度启发式，初始值选择度最多的

最少约束值启发式：优先选择的值是给邻居变量留下更多的选择

3.（1）选择一个环割集

 （2）实例化所有可能的环割集

（3）从CSP剩余变量的值域中删除与S的赋值不相容的值，求解剩余的CSP

四. 概率模型

1. 条件独立

2.贝叶斯网络的精确推理方法：枚举法、变量消元法

近似推理方法：先验采样、拒绝采样、似然权重、吉布斯采样

五.强化学习

Q函数是行动-价值函数

学习行为以最大化期望奖励

在每个离散的状态，发现最优策略，以使期望的折扣奖励和最大

value funcition

Q-Learning方法 学习动作值函数