本书为了解机器学习提供了一种独特的途径。书中包含了新颖、直观而又严谨的基本概念描述，它们是研究课题、制造产品、修补漏洞以及实践不可或缺的部分。本书按照几何直觉、算法思想和实际应用（纵贯计算机视觉、自然语言处理、经济学、神经科学、**系统、物理学和生物学等学科）的顺序，为读者提供了深入浅出的基础知识和解决实际问题所需的实用工具。本书还包含了基于Python和MATLAB/OCTAVE语言的深入习题，以及对数值优化前沿技术的全面讲解。本书可为机器学习、计算机科学、电子工程、信号处理以及数值优化等领域的学生提供重要的学习资源，也可为这些领域的研究人员和从业者提供理想的参考资料。

译者序
前言
第1章引言
1.1教计算机区���猫和狗
1.2预测学习问题
1.2.1回归
1.2.2分类
1.3特征设计
1.4数值优化
1.5小结
**部分基本工具及概念
第2章数值优化基础
2.1微积分定义的*优性
2.1.1泰勒级数逼近
2.1.2*优性的一阶条件
2.1.3凸性的便利
2.2优化数值方法
2.2.1概览
2.2.2停止条件
2.2.3梯度下降
2.2.4牛顿法
2.3小结
2.4习题
第3章回归
3.1线性回归基础
3.1.1符号和建模
3.1.2用于线性回归的*小二乘代价函数
3.1.3*小二乘代价函数的*小化
3.1.4所学模型的效力
3.1.5预测新输入数据的值
3.2知识驱动的回归特征设计
3.3非线性回归和l2正则化
3.3.1逻辑回归
3.3.2非凸代价函数和l2正则化
3.4小结
3.5习题
第4章分类
4.1感知机代价函数
4.1.1基本感知机模型
4.1.2softmax代价函数
4.1.3间隔感知机
4.1.4间隔感知机的可微近似
4.1.5所学分类器的精度
4.1.6预测新输入数据的标签
4.1.7哪个代价函数会产生*好的结果
4.1.8感知机和计数代价的关联
4.2逻辑回归视角下的softmax代价
4.2.1阶梯函数和分类
4.2.2凸逻辑回归
4.3支持向量机视角下的间隔感知机
4.3.1寻找*大间隔超平面
4.3.2硬间隔支持向量机问题
4.3.3软间隔支持向量机问题
4.3.4支持向量机和逻辑回归
4.4多分类
4.4.1一对多的多分类
4.4.2多分类softmax分类
4.4.3所学多分类器的精度
4.4.4哪种多分类方法表现*好
4.5面向分类的知识驱动特征设计
4.6面向真实数据类型的直方图特征
4.6.1文本数据的直方图特征
4.6.2图像数据的直方图特征
4.6.3音频数据的直方图特征
4.7小结
4.8习题
第二部分完全数据驱动的机器学习工具
第5章回归的自动特征设计
5.1理想回归场景中的自动特征设计
5.1.1向量逼近
5.1.2从向量到连续函数
5.1.3连续函数逼近
5.1.4连续函数逼近的常见基
5.1.5获取权重
5.1.6神经网络的图表示
5.2真实回归场景中的自动特征设计
5.2.1离散化的连续函数逼近
5.2.2真实回归场景
5.3回归交叉验证
5.3.1诊断过拟合与欠拟合问题
5.3.2留出交叉验证
5.3.3留出交叉验证的计算
5.3.4k折交叉验证
5.4哪个基*好
5.4.1理解数据背后的现象
5.4.2实践方面的考虑
5.4.3什么时候可任意选择基
5.5小结
5.6习题
5.7关于连续函数逼近的注释
第6章分类中的自动特征设计
6.1理想分类场景中的自动特征设计
6.1.1分段连续函数逼近
6.1.2指示函数的形式化定义
6.1.3指示函数逼近
6.1.4获取权重
6.2真实分类场景中的自动特征设计
6.2.1离散化的指示函数逼近
6.2.2真实的分类场景
6.2.3分类器精度和边界定义
6.3多分类
6.3.1一对多的多分类
6.3.2多分类softmax分类
6.4分类交叉验证
6.4.1留出交叉验证
6.4.2留出交叉验证的计算
6.4.3k折交叉验证
6.4.4一对多多分类的k折交叉验证
6.5哪个基*好
6.6小结
6.7习题
第7章核、反向传播和正则化交叉验证
7.1固定特征核
7.1.1线性代数基本定理
7.1.2核化代价函数
7.1.3核化的价值
7.1.4核的例子
7.1.5核作为相似矩阵
7.2反向传播算法
7.2.1计算两层网络代价函数的梯度
7.2.2计算三层神经网络的梯度
7.2.3动量梯度下降
7.3l2正则化交叉验证
7.3.1l2正则化和交叉验证
7.3.2回归的k折正则化交叉验证
7.3.3分类的正则化交叉验证
7.4小结
7.5更多的核计算
7.5.1核化不同的代价函数
7.5.2傅里叶核——标量输入
7.5.3傅里叶核——向量输入
第三部分大规模数据机器学习方法
第8章**梯度算法
8.1梯度下降法的固定步长规则
8.1.1梯度下降法和简单的二次代理
8.1.2有界曲率函数和*优保守步长规则
8.1.3如何使用保守固定步长规则
8.2梯度下降的自适应步长规则
8.2.1回溯线性搜索的自适应步长规则
8.2.2如何使用自适应步长规则
8.3随机梯度下降
8.3.1梯度分解
8.3.2随机梯度下降迭代
8.3.3随机梯度下降的价值
8.3.4随机梯度下降的步长规则
8.3.5在实践中如何使用随机梯度下降法
8.4梯度下降方案的收敛性证明
8.4.1利普希茨常数固定步长梯度下降的收敛性
8.4.2回溯线性搜索梯度下降的收敛性
8.4.3随机梯度法的收敛性
8.4.4面向凸函数的固定步长梯度下降的收敛速度
8.5计算利普希茨常数
8.6小结
8.7习题
第9章降维技术
9.1数据的降维技术
9.1.1随机子采样
9.1.2K均值聚类
9.1.3K均值问题的优化
9.2主成分分析
9.3**系统
9.3.1矩阵填充模型
9.3.2矩阵填充模型的优化
9.4小结
9.5习题
第四部分附录
附录A基本的向量和矩阵运算
附录B向量微积分基础
附录C基本的矩阵分解及伪逆
附录D凸几何
参考文献
索引