统计学习又称统计机器学习或机器学习，是基于数据构建概率统计模型从而对数据进行预测与分析的一类方法。通常如果一个系统能够通过执行某些步骤而实现自身性能上的改进，我们就称该过程为学习。而机器学习的目的就在于让计算机系统能够在数据之上结合统计方法实现系统表现上的提升。《统计学习理论与方法（R语言版）》（2020年5月出版）一书（已收入清华大学出版社人工智能科学系列）内容涵盖了各种流行的机器学习技术，系统而精炼地解释了它们背后的基本原理。
如果你对博主已经出版的图书感兴趣，可以在QQ群（155911675）中联系店小二以优惠价购买。所有图书都是出版社赠送给作者的样书，全新正版。需要入群购书的朋友，入群问题答案请直接填写“购书”。或者，你也可以从任意电商网站上购买：
本书从统计学观点出发，以数理统计为基础，全面系统地介绍了统计机器学习的主要方法。内容涉及回归（线性回归、多项式回归、非线性回归、岭回归，以及LASSO等）、分类（感知机、逻辑回归、朴素贝叶斯、决策树、支持向量机、人工神经网络等）、聚类（K均值、EM算法、密度聚类等）、蒙特卡洛采样（拒绝采样、自适应拒绝采样、重要性采样、吉布斯采样和马尔科夫链蒙特卡洛等）、降维与流形学习（SVD、PCA和MDS等），以及概率图模型基础等话题。此外，为方便读者自学，本书还扼要地介绍了机器学习中所必备的数学知识（包括概率论与数理统计、凸优化及泛函分析基础等）。
本书主要涉及（但不限于）的内容有：
- 概率与数理统计基础，其中统计分析方法涉及参数估计、假设检验、极大似然法、非参数检验（含列联分析、符号检验、符号秩检验、秩和检验等）、方差分析方法等。
- 回归方法，包括线性回归、多元回归、多项式回归、非线性回归（含倒数模型、对数模型等）、岭回归，以及LASSO等。
- 监督学习与分类方法，包括感知机、逻辑回归（含最大熵模型）、朴素贝叶斯、决策树（含ID3、C4.5、CART）、支持向量机、人工神经网络等。
- 无监督学习与聚类方法，包括K均值算法、EM算法（含高斯混合模型）、密度聚类中的DBSCAN算法等。
- 蒙特卡洛采样方法，包括逆采样、拒绝采样、自适应拒绝采样、重要性采样、吉布斯采样和马尔科夫链蒙特卡洛等。
- 概率图模型基础，主要以贝叶斯网络为例进行介绍。
- 降维与流形学习，包括奇异值分解、主成分分析和多维标度法等。
- 附录部分还简述了机器学习中所必备的其他数学基础，包括拉格朗日乘数法、詹森不等式与凸优化、多元函数最优化、泛函空间理论（在解释核方法时会用到）等内容。
目录
第1章 概率论基础
1.1 基本概念
1.2 随机变量数字特征
- 1.2.1 期望
- 1.2.2 方差
- 1.2.3 矩与矩母函数
- 1.2.4 协方差与协方差矩阵
1.3 基本概率分布模型
- 1.3.1 离散概率分布
- 1.3.2 连续概率分布
- 1.3.3 在R中使用内嵌分布
1.4 概率论中的重要定理
- 1.4.1 大数定理
- 1.4.2 中央极限定理
1.5 经验分布函数
第2章 统计推断
2.1 参数估计
- 2.1.1 参数估计的基本原理
- 2.1.2 单总体参数区间估计
- 2.1.3 双总体均值差的估计
- 2.1.4 双总体比例差的估计
2.2 假设检验
- 2.2.1 基本概念
- 2.2.2 两类错误
- 2.2.3 均值检验
2.3 极大似然估计
- 2.3.1 极大似然法的基本原理
- 2.3.2 求极大似然估计的方法
- 2.3.3 极大似然估计应用举例
第3章 采样方法
3.1 蒙特卡洛法求定积分
- 3.1.1 无意识统计学家法则
- 3.1.2 投点法
- 3.1.3 期望法
3.2 蒙特卡洛采样
- 3.2.1 逆采样
- 3.2.2 博克斯-穆勒变换
- 3.2.3 拒绝采样与自适应拒绝采样
3.3 矩阵的极限与马尔科夫链
3.4 查普曼-柯尔莫哥洛夫等式
3.5 马尔科夫链蒙特卡洛
- 3.5.1 重要性采样
- 3.5.2 马尔科夫链蒙特卡洛的基本概念
- 3.5.3 Metropolis-Hastings算法
- 3.5.4 Gibbs采样
第4章 非参数检验方法
4.1 列联分析
- 4.1.1 类别数据与列联表
- 4.1.2 皮尔逊(Pearson)的卡方检验
- 4.1.3 列联分析应用条件
- 4.1.4 费希尔(Fisher)的确切检验
4.2 符号检验
4.3 威尔科克森符号秩检验
4.4 威尔科克森的秩和检验
4.5 克鲁斯卡尔-沃利斯检验
第5章 一元线性回归
5.1 回归分析的性质
5.2 回归的基本概念
- 5.2.1 总体的回归函数
- 5.2.2 随机干扰的意义
- 5.2.3 样本的回归函数
5.3 回归模型的估计
- 5.3.1 普通最小二乘法原理
- 5.3.2 一元线性回归的应用
- 5.3.3 经典模型的基本假定
- 5.3.4 总体方差的无偏估计
- 5.3.5 估计参数的概率分布
5.4 正态条件下的模型检验
- 5.4.1 拟合优度的检验
- 5.4.2 整体性假定检验
- 5.4.3 单个参数的检验
5.5 一元线性回归模型预测
- 5.5.1 点预测
- 5.5.2 区间预测
第6章 多元线性回归
6.1 多元线性回归模型
6.2 多元回归模型估计
- 6.2.1 最小二乘估计量
- 6.2.2 多元回归的实例
- 6.2.3 总体参数估计量
6.3 从线性代数角度理解最小二乘
- 6.3.1 最小二乘问题的通解
- 6.3.2 最小二乘问题的计算
6.4 多元回归模型检验
- 6.4.1 线性回归的显著性
- 6.4.2 回归系数的显著性
6.5 多元线性回归模型预测
6.6 格兰杰因果关系检验
第7章 线性回归进阶
7.1 更多回归模型函数形式
- 7.1.1 双对数模型以及生产函数
- 7.1.2 倒数模型与菲利普斯曲线
- 7.1.3 多项式回归模型及其分析
7.2 回归模型的评估与选择
- 7.2.1 嵌套模型选择
- 7.2.2 赤池信息准则
- 7.2.3 逐步回归方法
7.3 现代回归方法的新进展
- 7.3.1 多重共线性
- 7.3.2 岭回归
- 7.3.3 从岭回归到LASSO
- 7.3.4 正则化
第8章 方差分析方法
8.1 方差分析的基本概念
8.2 单因素方差分析方法
- 8.2.1 基本原理
- 8.2.2 分析步骤
- 8.2.3 强度测量
8.3 双因素方差分析方法
- 8.3.1 无交互作用的分析
- 8.3.2 有交互作用的分析
8.4 多重比较
- 8.4.1 多重t检验
- 8.4.2 Dunnett检验
- 8.4.3 Tukey的HSD检验
- 8.4.4 Newman-Keuls检验
8.5 方差齐性的检验方法
- 8.5.1 Bartlett检验法
- 8.5.2 Levene检验法
第9章 逻辑回归与最大熵模型
9.1 逻辑回归
9.2 牛顿法解Logistic回归
9.3 多元逻辑回归
9.4 最大熵模型
- 9.4.1 最大熵原理
- 9.4.2 约束条件
- 9.4.3 模型推导
- 9.4.4 极大似然估计
第10章 聚类分析
10.1 聚类的概念
10.2 K均值算法
- 10.2.1 距离度量
- 10.2.2 算法描述
- 10.2.3 数据分析实例
- 10.2.4 图像处理应用举例
10.3 最大期望算法
- 10.3.1 算法原理
- 10.3.2 收敛探讨
10.4 高斯混合模型
- 10.4.1 模型推导
- 10.4.2 应用实例
10.5 密度聚类与DBSCAN算法
第11章 支持向量机
11.1 线性可分的支持向量机
- 11.1.1 函数距离与几何距离
- 11.1.2 最大间隔分类器
- 11.1.3 拉格朗日乘数法
- 11.1.4 对偶问题的求解
11.2 松弛因子与软间隔模型
11.3 非线性支持向量机方法
- 11.3.1 从更高维度上分类
- 11.3.2 非线性核函数方法
- 11.3.3 机器学习中的核方法
- 11.3.4 默瑟定理
11.4对数据进行分类的实践
- 11.4.1 基本建模函数
- 11.4.2 分析建模结果
第12章 贝叶斯推断
12.1 贝叶斯公式与边缘分布
12.2 贝叶斯推断中的重要概念
- 12.2.1 先验概率与后验概率
- 12.2.2 共轭分布
12.3 朴素贝叶斯分类器
12.4 贝叶斯网络
- 12.4.1 基本结构单元
- 12.4.2 模型推理
12.5 贝叶斯推断的应用举例
第13章 降维与流形学习
13.1 主成分分析(PCA)
13.2 奇异值分解(SVD)
- 13.2.1 一个基本的认识
- 13.2.2 为什么可以做SVD
- 13.2.3 SVD与PCA的关系
- 13.2.4 应用举例与矩阵的伪逆
13.3 多维标度法(MDS)
第14章 决策树
14.1 决策树基础
- 14.1.1 Hunt算法
- 14.1.2 基尼测度与划分
- 14.1.3 信息熵与信息增益
- 14.1.4 分类误差
14.2 决策树进阶
- 14.2.1 ID3算法
- 14.2.2 C4.5算法
14.3 分类回归树
14.4 决策树剪枝
- 14.4.1 没有免费午餐原理
- 14.4.2 剪枝方法
14.5 分类器的评估
第15章 人工神经网络
15.1 从感知机开始
- 15.1.1 感知机模型
- 15.1.2 感知机学习
- 15.1.3 多层感知机
15.2 基本神经网络
- 15.2.1 神经网络结构
- 15.2.2 符号标记说明
- 15.2.3 后向传播算法
15.3 神经网络实践
- 15.3.1 核心函数介绍
- 15.3.2 应用分析实践
附录A 必不可少的数学基础
A.1 泰勒公式
A.2 海塞矩阵
A.3 凸函数与詹森不等式
- A.3.1 凸函数的概念
- A.3.2 詹森不等式及其证明
- A.3.3 詹森不等式的应用
A.4 泛函与抽象空间
- A.4.1 线性空间
- A.4.2 距离空间
- A.4.3 赋范空间
- A.4.4 巴拿赫空间
- A.4.5 内积空间
- A.4.6 希尔伯特空间
A.5 从泛函到变分法
- A.5.1 理解泛函的概念
- A.5.2 关于变分的概念
- A.5.3 变分法的基本方程
- A.5.4 哈密尔顿原理
- A.5.5 等式约束下的变分