本教材是一个机器学习工具箱，适用于计算机科学专业本科四年级或研究生一年级的学生。本书为那些想要使用机器学习过程来完成任务的人提供了许多主题，强调使用现有的工具和包，而不是自己重新编写代码。本书适用于从头至尾的讲授或阅读，不同的讲师或读者有不同的需求。

译者序 前言 致谢 关于作者 **部分 分类 第1章 学会分类2 1.1 分类的主要思想2 1.1.1 误差率及其他性能指标2 1.1.2 更详细的评估3 1.1.3 过拟合与交叉验证4 1.2 *近邻分类5 1.3 朴素贝叶斯7 1.3.1 利用交叉验证进行模型选择9 1.3.2 数据缺失11 编程练习11 第2章 支持向量机和随机森林14 2.1 支持向量机14 2.1.1 铰链损失15 2.1.2 正则化16 2.1.3 通过随机梯度下降来寻找分类器17 2.1.4 λ的搜索19 2.1.5 总结：用随机梯度下降训练20 2.1.6 例子：利用支持向量机分析成人收入21 2.1.7 利用支持向量机进行多类分类23 2.2 利用随机森林进行分类23 2.2.1 构造决策树25 2.2.2 用信息增益来选择划分27 2.2.3 森林29 2.2.4 构造并评估决策森林29 2.2.5 利用决策森林进行数据分类30 编程练习31 MNIST练习33 第3章 学习理论初步35 3.1 用留出损失预测测试损失35 3.1.1 样本均值和期望36 3.1.2 利用切比雪夫不等式37 3.1.3 一个泛化界37 3.2 有限分类器族的测试误差与训练误差38 3.2.1 霍夫丁不等式39 3.2.2 在有限预测器族上训练39 3.2.3 所需样例数量40 3.3 无限预测器集合41 3.3.1 预测器和二值函数41 3.3.2 对称化43 3.3.3 限制泛化误差44 第二部分 高维数据 第4章 高维数据48 4.1 概述及简单绘图48 4.1.1 均值48 4.1.2 杆图和散点图矩阵49 4.1.3 协方差51 4.1.4 协方差矩阵52 4.2 维数灾难53 4.2.1 灾难：数据不是你想象的那样53 4.2.2 维数的小困扰55 4.3 用均值和协方差理解高维数据55 4.3.1 仿射变换下的均值和协方差56 4.3.2 特征向量及矩阵对角化56 4.3.3 通过旋转数据堆来对角化协方差矩阵57 4.4 多元正态分布58 4.4.1 仿射变换与高斯模型59 4.4.2 绘制二维高斯模型：协方差椭圆59 4.4.3 描述统计与期望60 4.4.4 维数灾难的更多内容61 习题61 第5章 主成分分析64 5.1 在主成分上表示数据64 5.1.1 近似数据团块64 5.1.2 例子：变换身高体重堆65 5.1.3 在主成分上表示数据67 5.1.4 低维表示中的误差68 5.1.5 用NIPALS算法提取若干主成分69 5.1.6 主成分和缺失值70 5.1.7 PCA作为平滑方法71 5.2 例子：用主成分表示颜色72 5.3 例子：用主成分表示人脸75 习题77 编程练习78 第6章 低秩近似80 6.1 奇异值分解80 6.1.1 SVD和PCA81 6.1.2 SVD和低秩近似82 6.1.3 用SVD进行平滑82 6.2 多维缩放83 6.2.1 通过高维的距离选择低维的点83 6.2.2 使用低秩近似分解因子84 6.2.3 例子：利用多维缩放进行映射85 6.3 例子：文本模型和潜在语义分析87 6.3.1 余弦距离88 6.3.2 对单词计数进行平滑88 6.3.3 例子：对NIPS文档进行映射89 6.3.4 获得词的含义90 6.3.5 例子：对NIPS数据集的词进行映射92 6.3.6 TFIDF93 习题94 编程练习95 第7章 典型相关分析97 7.1 典型相关分析算法97 7.2 例子：在词和图片上进行CCA99 7.3 例子：在反射率和遮光上进行CCA102 编程练习105 第三部分 聚类 第8章 聚类108 8.1 聚合式聚类和拆分式聚类108 8.2 k均值算法及其变体111 8.2.1 如何选择k的值114 8.2.2 软分配115 8.2.3 **聚类和层级式k均值117 8.2.4 k**点算法117 8.2.5 例子：葡萄牙的杂货117 8.2.6 关于k均值算法的一些见解119 8.3 用向量量化描述重复性120 8.3.1 向量量化121 8.3.2 例子：基于加速度计数据的行为123 编程练习126 第9章 使用概率模型进行聚类130 9.1 混合模型与聚类130 9.1.1 数据团块的有限混合模型130 9.1.2 主题和主题模型132 9.2 EM算法133 9.2.1 例子——高斯混合：E步134 9.2.2 例子——高斯混合：M步136 9.2.3 例子——主题模型：E步136 9.2.4 例子——主题模型：M步137 9.2.5 EM算法的实践137 习题140 编程练习140 第四部分 回归 第10章 回归144 10.1 概述144 10.2 线性回归和*小二乘法146 10.2.1 线性回归146 10.2.2 选择β147 10.2.3 残差148 10.2.4 R2149 10.2.5